Спряжений апріорний розподіл

У баєсівській теорії ймовірностей, якщо апостеріорні розподіли p(θ | x) належать до того ж сімейства розподілу ймовірностей, що і апріорний розподіл ймовірностей p(θ), то апріорний і постеріорний розподіли називають спряженими розподілами, а апріорний розподіл називають спряженим апріором (або апріорним спряженням) функції правдоподібности p(x|θ).

Наприклад, сімейство Гаусса є спряженим до себе (або самосопряженим) відносно функції правдоподібності Гаусса: якщо функція правдоподібності є Гауссівською, вибір гауссового апріору на противагу простому середньому значенню гарантує, що постеріорний розподіл буде також Гауссівським. Це означає, що розподіл Гауса є спряженим апріором для Гаусівської функції правдоподібности.

Поняття, а також термін "спряжений апріор" запроваджено Говардом Райффою та Робертом Шлайфером в їхній роботі з Баєсівської теорії прийняття рішень[1]. Подібну концепцію незалежно описав Джордж Альфред Барнард[2].

Розглянемо загальну задачу виведення (неперервного) розподілу параметра θ з урахуванням деякого даного чи даних x . За теоремою Баєса постеріорний розподіл дорівнює добутку функції правдоподібності ${\displaystyle \theta \mapsto p(x\mid \theta )\!}$ і апраіорного розподілу ${\displaystyle p(\theta )\!}$, нормованого ймовірністю даних ${\displaystyle p(x)\!}$ :

${\displaystyle {\begin{aligned}p(\theta \mid x)&={\frac {p(x\mid \theta )\,p(\theta )}{p(x)}}\\&={\frac {p(x\mid \theta )\,p(\theta )}{\int _{\theta '}p(x,\theta ')\,d\theta '}}\\&={\frac {p(x\mid \theta )\,p(\theta )}{\int _{\theta '}p(x\mid \theta ')\,p(\theta ')\,d\theta '}}\end{aligned}}}$

Зафіксуємо функцію правдоподібності; функція правдоподібності, як правило, добре визначається на основі запису про твірний процес даних. Зрозуміло, що різні варіанти попереднього розподілу p ( θ ) можуть ускладнити обчислення інтегралу, а добуток p ( x | θ ) × p ( θ ) може приймати ту чи іншу алгебраїчну форму. Для певного вибору пріоритета, задній має ту саму алгебраїчну форму, що і пріоритет (як правило, з різними значеннями параметрів). Такий вибір є спряженим пріоритетом .

Спряжений апріор використовують для алгебричної зручности, за його допомогою можна отримати формулу для постеріорного розподілу; без нього може знадобитися чисельне інтегрування. Далі, спряжені апріори можуть давати інтуїтивне трактування, більш прозоро показуючи, як функція правдоподібності оновлює апріорний розподіл.

Усі члени експоненційної сім'ї мають спряжені апріори[3].

Приклад

Форму спряженого апріора як правило, можне визначити шляхом перевірки густини ймовірності чи функції ймовірності розподілу. Наприклад, розглянемо випадкову величину, що складається з кількості успіхів ${\displaystyle s}$ в ${\displaystyle n}$ випробуваннях Бернуллі з невідомою ймовірністю успіху ${\displaystyle q}$ в [0,1]. Ця випадкова величина має біноміальний розподіл з функцією ймовірності у вигляді

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

Звичайним спряженим апріором такої функції є функція ймовірності бета-розподілу з параметрами ( ${\displaystyle \alpha }$, ${\displaystyle \beta }$ ):

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

де ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ вибираються для відображення будь-яких наявних переконань чи інформації ( ${\displaystyle \alpha }$ = 1 і ${\displaystyle \beta }$ = 1 дасть рівномірний розподіл ) і Β ( ${\displaystyle \alpha }$ , ${\displaystyle \beta }$ ) — бета-функція, яка діє як нормалізуюча константа .

У цьому контексті, ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ називаються гіперпараметрами (параметрами апріора), щоб відрізнити їх від параметрів базової моделі (тут q). Типовою характеристикою спряжених апріорів є те, що розмірність гіперпараметрів на одиницю більша, ніж розмірність параметрів вихідного розподілу. Якщо всі параметри є скалярними значеннями, то це означає, що буде на один гіперпараметр більше, ніж параметр; але це також стосується параметрів із векторними та матричними значеннями. (Див. загальну статтю про експоненційну сім’ю, а також розглянемо розподіл Вішарта, спряжений апріор коваріаційної матриці багатовимірного нормального розподілу, для прикладу, коли маємо справу з великою розмірністю).

Якщо ми потім виберемо цю випадкову величину і отримаємо s успіхів і f невдач, ми маємо

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

тобто ще один бета-розподіл з параметрами ( ${\displaystyle \alpha }$ + s, ${\displaystyle \beta }$ + f ). Цей апостеріорний розподіл можна було б використовувати як апріор для більшої кількості вибірок, при цьому гіперпараметри просто щоразу додають додаткову порцію інформації щойно вона надходить.

Псевдоспостереження

Часто корисно вважати гіперпараметри спряженого апріора розподілу як відповідні спостереженню певної кількості псевдоспостережень із властивостями, заданими параметрами. Наприклад, значення ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ бета-розподілу можна вважати відповідним ${\displaystyle \alpha -1}$ успіхам і ${\displaystyle \beta -1}$ невдачам, якщо постеріорний режим використовується для вибору оптимального параметра, або ${\displaystyle \alpha }$ успіхів і ${\displaystyle \beta }$ невдач, якщо для вибору оптимального параметра використовується постеріорне середнє значенняя. Загалом, для майже всіх спряжених апріорів розподілів гіперпараметри можна інтерпретувати в термінах псевдоспостережень. Це може допомогти як в інтуїтивному трактуванні часто заплутаних оновлень рівняннянь, так і для вибору розумних гіперпараметрів для апріора.

Інтерпретації

Аналогія з власними функціями 

Спряжені апріори аналогічні власним функціям в теорії операторів, оскільки вони є розподілами, на які «оператор зумовлення» діє зрозумілим чином. Для цього треба розглянути процес перетворення апріорного в апостеріорний розподіл як оператор.

І у випадку власних функцій, і у випадку спряжених апріорів скінченновимірні простори зберігаються при дії оператора: результат виражається тією ж формою (в тому самому просторі), що й вхідні дані. Це значно спрощує аналіз, оскільки в іншому випадку матимемо справу з нескінченновимірним простором (усіх функцій, чи усіх розподілів).

А проте процеси лише аналогічні, не ідентичні: оператор зумовлення не лінійний, оскільки простір розподілів не замкнений відносто лінійної комбінації, а тільки відносно опуклою комбінацією, а апостеріор має лише ту саму форму, що й апріор, але не є його лінійним перетворенням.

Подібно до того, як можна побачити, як виявляється лінійна комбінація власних функцій при застосуванні оператора (оскільки щодо цих функцій оператор діагоналізований), можна легко проаналізувати, як опукла комбінація спряжених апріорів розвивається в зумовности; це називається використання гіпер-апріорного і є відповідником використання щільності суміші спряжених апріорів, а не одного спряженого апріора.

Динамічна система

Можна розглядати умовність спряжених апріорів як задання певного роду (в дискретному часі) динамічної системи: із заданого набору гіперпараметрів вхідні дані оновлюють ці гіперпараметри, тож можна розглядати зміну гіперпараметрів як свого роду «еволюцію в часі» системи, яку можна вважати «навчанням». Різні початкові умови спричинюються до різних траєкторій. Знову ж таки таке трактування аналогічне динамічній системі, визначеній лінійним оператором, однак зауважте, що оскільки різні вибірки призводять до різних результатів, тут маємо не просто залежність від часу, а скоріше від потоку даних у часі. Для пов’язаних підходів див. Рекурсивна байєсівська оцінка та Засвоєння даних .

Практичний приклад

Припустимо, у вашому місті працює служба прокату автомобілів. Водії можуть залишати та брати автомобілі в будь-якому місці в межах міста. Ви можете знайти та орендувати авто за допомогою програми.

Припустимо, ви хочете знайти ймовірність того, що ви зможете знайти авто для оренди на невеликій відстані від вашої домашньої адреси в будь-який час доби.

Протягом трьох днів ви переглядаєте додаток і знаходите таку кількість автомобілів на невеликій відстані від вашої домашньої адреси: ${\displaystyle \mathbf {x} =[3,4,1]}$

Якщо ми припустимо, що дані отримані з розподілу Пуассона, ми можемо обчислити оцінку максимальної правдоподібності параметра моделі ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ Використовуючи цю оцінку максимальної ймовірності, ми можемо обчислити ймовірність того, що в певний день буде принаймні один автомобіль: ${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Цей розподіл Пуассона, який, скоріш за все, породив бачені нами дані ${\displaystyle \mathbf {x} }$ . Але дані також могли бути отримані з іншого розподілу Пуассона, наприклад, з ${\displaystyle \lambda =3}$, або ${\displaystyle \lambda =2}$, тощо Насправді існує нескінченна кількість розподілів Пуассона, які могли б генерувати спостережувані дані, і з відносно невеликою кількістю спостережень ми не можемо бути досить впевнені щодо того, який саме розподіл Пуассона згенерував ці дані. Інтуїтивно ми повинні замість цього взяти середнє зважене значення ймовірності ${\displaystyle p(x>0|\lambda )}$ для кожного з цих розподілів Пуассона, зважених значенням того наскільки вони ймовірні, враховуючи дані, які ми спостерігали ${\displaystyle \mathbf {x} }$ .

Як правило, ця величина відома як апостеріорний прогнозний розподіл ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$ де ${\displaystyle x}$ це нова точка даних, ${\displaystyle \mathbf {x} }$ є спостережуваними даними і ${\displaystyle \theta }$ є параметрами моделі. Використовуючи теорему Баєса, можна розширити ${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$ тому ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$ Як правило, цей інтеграл важко обчислити. Однак, якщо ви виберете спряжений апріорний розподіл ${\displaystyle p(\theta )}$, можна отримати явну формулу. Її можна знайти в останньому стовпці в таблицях нижче.

Повертаючись до нашого прикладу, якщо виберемо гамма-розподіл як наш апріорний розподіл параметра ${\displaystyle \lambda }$ в розподілі Пуассона, то постеріорним розподілом для передбачення буде негативний біноміальний розподіл, як видно з останнього стовпця таблиці нижче. Гамма-розподіл параметризується двома гіперпараметрами ${\displaystyle \alpha ,\beta }$ які ми маємо вибрати. Зважаючи на графіки гамма-розподілу, вибираємо ${\displaystyle \alpha =\beta =2}$, що, видається обґрунтованим апріором для середньої кількості автівок. Вибір апріорних гіперпараметрів за своєю суттю є суб’єктивним і заснований на попередніх знаннях і досвіді.

Враховуючи апріорні гіперпараметри ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ ми можемо обчислити постеріорні гіперпараметри ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ і ${\textstyle \beta '=\beta +n=2+3=5}$

Враховуючи постеріорні гіперпараметри, ми можемо нарешті обчислити апостеріорний прогноз ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Ця набагато більш консервативна оцінка відображає невизначеність параметрів моделі, яку враховує постеріорний прогноз.

Таблиця спряжених розподілів

Нехай n - кількість спостережень. У всіх нижченаведених випадках передбачається, що дані складаються з n точок ${\displaystyle x_{1},\ldots ,x_{n}}$ (які будуть випадковими векторами у багатовимірних випадках).

Якщо функція правдоподібності належить експоненціальному сімейству, то спряжений апріор існує, часто також з експоненціального сімейства.

Коли функція правдоподібності є дискретним розподілом

Правдоподібність	Параметри моделі	Розподіл спряженого апріора	Гіперпараметри апріора	Гіперпараметри постреріора[note 1]	Інтерпретація гіперпараметрів	Постеріорний прогнозний розподіл[note 2]
Бернуллі	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$
Біноміальний	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ (Бета-біноміальний)
Від'ємний біноміальний з відомою кількістю невдач, r	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ число всіх успіхів, ${\displaystyle \beta }$ невдачі[note 3] (тобто, ${\displaystyle {\frac {\beta }{r}}}$ експериментів, за умови, що ${\displaystyle r}$ фіксоване)	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ (Бета-негативний біноміальний)
Пуассон	λ (темп)	Гамма	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$ загальна кількість випадань в ${\displaystyle {\frac {1}{\theta }}}$ інтервалах	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {\theta '}{\theta '+1}}\right)}$ (Від'ємний біноміальний)
			${\displaystyle \alpha ,\,\beta \!}$ [note 4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$ загальна кількість випадань в ${\displaystyle \beta }$ інтервалах	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {1}{1+\beta '}}\right)}$ (Від'ємний біноміальний)
Категорійний	p (вектор ймовірності), k (число категорій; тобто, розмірність p)	Діріхле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$ де ${\displaystyle c_{i}}$ число спостережень в категорії i	${\displaystyle \alpha _{i}}$ число випадінь категорії ${\displaystyle i}$[note 3]	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
Поліноміальний	p (вектор ймовірності), k (число категорій; тобто, розмірність p)	Діріхле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$ число випадінь категорії ${\displaystyle i}$[note 3]	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ (Dirichlet-multinomial^[en])
Гіпергеометричний з відомим розміром загальної популяції, N	M (цільове число членів)	Бета-біноміальний[4]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]
Геометричний	p0 (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ експерименти, ${\displaystyle \beta }$ всі невдачі[note 3]

Коли функція ймовірності є безперервним розподілом

Правдоподібність	Параметри моделі	Розподіл спряженого апріора	Гіперпараметри апріора	Гіперпараметри постреріора[note 1]	Інтерпретація гіперпараметрів	Постеріорний прогнозний розподіл[note 5]
Нормальний з відомою дисперсією σ^2	μ (середнє)	Нормальний	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle 1/\sigma _{0}^{2}}$ and with sample mean ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[5]
Нормальний with known precision τ	μ (середнє)	Нормальний	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}}$	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle \tau _{0}}$ and with sample mean ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$
Нормальний з відомим середнім μ	σ^2 (дисперсія)	Обернений гамма	${\displaystyle \mathbf {\alpha ,\,\beta } }$	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	variance was estimated from ${\displaystyle 2\alpha }$ observations with sample variance ${\displaystyle \beta /\alpha }$ (i.e. with sum of squared deviations ${\displaystyle 2\beta }$, where deviations are from known mean ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$
Нормальний з відомим середнім μ	σ^2 (дисперсія)	Scaled inverse chi-squared	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	variance was estimated from ${\displaystyle \nu }$ observations with sample variance ${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$
Нормальний з відомим середнім μ	τ (прецизійність)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	precision was estimated from ${\displaystyle 2\alpha }$ observations with sample variance ${\displaystyle \beta /\alpha }$ (i.e. with sum of squared deviations ${\displaystyle 2\beta }$, where deviations are from known mean ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$
Нормальний	μ і σ^2 за умови взаємозамінности	Normal-inverse gamma	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ середнє вибірки	mean was estimated from ${\displaystyle \nu }$ observations with sample mean ${\displaystyle \mu _{0}}$; variance was estimated from ${\displaystyle 2\alpha }$ observations with sample mean ${\displaystyle \mu _{0}}$ and sum of squared deviations ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$
Нормальний	μ і τ за умови взаємозамінности	Normal-gamma	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ середнє вибірки	mean was estimated from ${\displaystyle \nu }$ observations with sample mean ${\displaystyle \mu _{0}}$, and precision was estimated from ${\displaystyle 2\alpha }$ observations with sample mean ${\displaystyle \mu _{0}}$ and sum of squared deviations ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$
Багатовимірний нормальний з відомою матрицею коваріації Σ	μ (вектор середнього)	Багатовимірний нормальний	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$ and with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$
Багатовимірний нормальний з відомою матрицею прецизійності Λ	μ (вектор середнього)	Багатовимірний нормальний	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle {\boldsymbol {\Lambda }}_{0}}$ and with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)}$
Багатовимірний нормальний з відомим середнім μ	Σ (матриця коваріації)	Inverse-Wishart	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	covariance matrix was estimated from ${\displaystyle \nu }$ observations with sum of pairwise deviation products ${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$
Багатовимірний нормальний з відомим середнім μ	Λ (матриця прецизійності)	Wishart	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	covariance matrix was estimated from ${\displaystyle \nu }$ observations with sum of pairwise deviation products ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$
Багатовимірний нормальний	μ (вектор середнього) і Σ (матриця коваріації)	normal-inverse-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	mean was estimated from ${\displaystyle \kappa _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$; covariance matrix was estimated from ${\displaystyle \nu _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$ and with sum of pairwise deviation products ${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$
Багатовимірний нормальний	μ (вектор середнього) і Λ (матриця прецизійності)	normal-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	mean was estimated from ${\displaystyle \kappa _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$; covariance matrix was estimated from ${\displaystyle \nu _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$ and with sum of pairwise deviation products ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$
Рівномірний	${\displaystyle U(0,\theta )\!}$	Парето	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$ observations with maximum value ${\displaystyle x_{m}}$
Парето з відомим мінімумом xm	k (форма)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$ observations with sum ${\displaystyle \beta }$ of the order of magnitude of each observation (i.e. the logarithm of the ratio of each observation to the minimum ${\displaystyle x_{m}}$)
Weibull з відомим параметром форми β	θ (масштаб)	Обернений гамма	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$ observations with sum ${\displaystyle b}$ of the β'th power of each observation
Логнормальний	Same as for the normal distribution after applying the natural logarithm to the data for the posterior hyperparameters. Please refer to page 21 and 22 [4] to see the details.
Експоненційний	λ (темп)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ observations that sum to ${\displaystyle \beta }$	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ (Lomax distribution)
Гамма з відомим параметром α	β (темп)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$ observations with sum ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$
Обернений гамма з відомим параметром форми α	β (обернений масштаб)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$ observations with sum ${\displaystyle \beta _{0}}$
Гамма з відомим параметром темпу β	α (форма)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$ or ${\displaystyle c}$ observations (${\displaystyle b}$ for estimating ${\displaystyle \alpha }$, ${\displaystyle c}$ for estimating ${\displaystyle \beta }$) with product ${\displaystyle a}$
Гамма	α (форма), β (обернений масштаб)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$ was estimated from ${\displaystyle r}$ observations with product ${\displaystyle p}$; ${\displaystyle \beta }$ was estimated from ${\displaystyle s}$ observations with sum ${\displaystyle q}$
Beta	α, β	${\displaystyle \propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}}$	${\displaystyle p,\,q,\,k\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!}$	${\displaystyle \alpha }$ and ${\displaystyle \beta }$ were estimated from ${\displaystyle k}$ observations with product ${\displaystyle p}$ and product of the complements ${\displaystyle q}$

Див. також

• Бета-біноміальний розподіл

Примітки

1. Позначається тими ж символами що й апріорні гіперпараметри з апострофами('). Наприклад ${\displaystyle \alpha }$ позначається ${\displaystyle \alpha '}$
2. Це постеріорний прогнозний розподіл нової точки ${\displaystyle {\tilde {x}}}$ зумовлений спостереженими точками (наявною інформацією), що мають парпметри граничного розподілу. Змінні з апострофами позначають постеріорні значення параметрів.
3. Точна інтерпретація параметрів бета-розподілу з точки зору кількості успіхів і невдач залежить від того, яка функція використовується для отримання точкової оцінки з розподілу. Матсподівання бета-розподілу обчислюється як ${\displaystyle {\frac {\alpha }{\alpha +\beta }},}$ що відповідає ${\displaystyle \alpha }$ успіхам і ${\displaystyle \beta }$ невдачам, тоді як його мода дорівнює ${\displaystyle {\frac {\alpha -1}{\alpha +\beta -2}},}$ що відповідає ${\displaystyle \alpha -1}$ успіхам і ${\displaystyle \beta -1}$ невдачам. У Баєсівських обчисленнях точкових оцінок віддають перевагу постеріорному матсподіванню перед постеріорною модою, ґрунтуючись на квадратичній функції втрат, до того ж використання ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ математично зручніше, тоді як перевагою використання ${\displaystyle \alpha -1}$ і ${\displaystyle \beta -1}$ є те, що рівномірний апріор ${\displaystyle {\rm {Beta}}(1,1)}$ відповідає випадку коли маємо 0 успіхів і 0 невдач. Аналогічні міркування мають місце при використанні розподілу Діріхле.
4. β темп зміни чи обернений до параметра масштабу. В параметризації Гамма-розподіл, θ = 1/β і k = α.
5. Це постеріорний прогнозний розподіл нової точки ${\displaystyle {\tilde {x}}}$ зумовлений спостереженими точками (наявною інформацією), що мають парпметри граничного розподілу. Змінні з апострофами позначають постеріорні значення параметрів. ${\displaystyle {\mathcal {N}}}$ and ${\displaystyle t_{n}}$ позначають нормальний розподіл і t-розподіл Стьюдента або ж багатовимірний нормальний розподіл і багатовимірний t-розподіл Стьюдента у багатовиміних випадках відповідно.

Джерела

1. Howard Raiffa and Robert Schlaifer. Applied Statistical Decision Theory. Division of Research, Graduate School of Business Administration, Harvard University, 1961.
2. Jeff Miller et al. Earliest Known Uses of Some of the Words of Mathematics [Архівовано 4 березня 2009 у Wayback Machine.], "conjugate prior distributions" [Архівовано 1 травня 2011 у Wayback Machine.]. Electronic document, revision of November 13, 2005, retrieved December 2, 2005.
3. For a catalog, see Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. (2003). Bayesian Data Analysis (вид. 2nd). CRC Press. ISBN 1-58488-388-X.
4. Daniel Fink (May 1997). A Compendium of Conjugate Priors (PDF). Архів оригіналу (PDF) за 4 травня 2021. Процитовано 16 січня 2022. (англ.)
5. Murphy, Kevin P. (2007), Conjugate Bayesian analysis of the Gaussian distribution (PDF), архів оригіналу (PDF) за 18 січня 2022, процитовано 18 січня 2022