Розподіл Діріхле

Розподіл Діріхле
Параметри	${\displaystyle K\geq 2}$ число категорій (ціле) ${\displaystyle \alpha _{1},\ldots ,\alpha _{K}}$ параметри концентрації, де ${\displaystyle \alpha _{i}>0}$
Носій функції	${\displaystyle x_{1},\ldots ,x_{K}}$ where ${\displaystyle x_{i}\in (0,1)}$ and ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$
Розподіл імовірностей	${\displaystyle {\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$ де ${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}}$ де ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})}$
Середнє	${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k=1}^{K}\alpha _{k}}}}$ ${\displaystyle \operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})}$ (див. Дигамма-функція)
Мода	${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\sum _{k=1}^{K}\alpha _{k}-K}},\quad \alpha _{i}>1.}$
Дисперсія	${\displaystyle \operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{\alpha _{0}+1}},\quad \operatorname {Cov} [X_{i},X_{j}]={\frac {\delta _{ij}\,{\tilde {\alpha }}_{i}-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{\alpha _{0}+1}}}$ де ${\displaystyle {\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\alpha _{0}}}}$ і ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$
Ентропія	${\displaystyle H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$ при ${\displaystyle \alpha _{0}}$ визначина як для варіації вище.
Твірна функція моментів (mgf)	{{{mgf}}}
Характеристична функція	{{{char}}}

У теорії імовірностей і математичній статистиці розподіл Діріхле (за іменем Йоганна Петера Густава Лежьона-Діріхле), позначають часто ${\displaystyle Dir(\alpha )}$ — це сімейство безупинних багатовимірних імовірних розподілів невід’ємних дійсних чисел, параметризованих вектором ${\displaystyle \alpha }$. Розподіл Діріхле є узагальненням Бета-розподілу на багатовимірний випадок. Тобто, його функція щільності повертає значення імовірності того, що імовірність кожного з K взаємновиключних подій дорівнює ${\displaystyle x_{i}}$ за умови, що кожна подія спостерігалася ${\displaystyle \alpha _{i}-1}$ раз.

Функція щільності імовірності

Функція щільності імовірності для розподілу Діріхле порядку K має вигляд:

${\displaystyle f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

де ${\displaystyle x_{i}\geq 0\,}$, ${\displaystyle \sum _{i=1}^{K}x_{i}=1\,}$, i ${\displaystyle \alpha _{i}\geq 0\,}$.

Властивості

Нехай ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$ i ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i},}$ тоді

${\displaystyle \mathrm {E} [X_{i}|\alpha ]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \mathrm {Var} [X_{i}|\alpha ]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},}$

${\displaystyle \mathrm {Cov} [X_{i}X_{j}|\alpha ]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Модою розподілу є вектор ${\displaystyle X=(X_{1},X_{2},\dots ,X_{K})}$ з

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$

Розподіл Діріхле є сполученим апріорним розподілом до мультиноміального розподілу, а саме: якщо

${\displaystyle \beta |X=(\beta _{1},\ldots ,\beta _{K})|X\sim \operatorname {Mult} (X),}$

де ${\displaystyle \beta _{i}}$ - число входжень і у вибірку з n точок дискретного розподілу на {1, ..., K}, визначеного через X, то

${\displaystyle X|\beta \sim \operatorname {Dir} (\alpha +\beta ).}$

Цей зв'язок використовується в Байєсівській статистиці для того, щоб оцінити приховані параметри дискретного імовірносного розподілу ${\displaystyle X}$, маючи набір з n вибірок. Очевидно, якщо апріорний розподіл позначений як ${\displaystyle Dir(\alpha )}$, то ${\displaystyle Dir(\alpha +\beta )}$ - це апостеріорний розподіл після серії спостережень з гістограмою ${\displaystyle \beta }$.

Зв'язок з іншими розподілами

Якщо для ${\displaystyle i\in \{1,2,\ldots ,K\},}$

${\displaystyle Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\alpha _{i},{\textrm {scale}}=1)}$ незалежні, то

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\sum _{i=1}^{K}\alpha _{i},{\textrm {scale}}=1),}$

і

${\displaystyle (X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).}$

Попри те, що X_і не є незалежними один від одного, вони можуть бути згенерованні з набору з ${\displaystyle K}$ незалежних гама випадкових величин. Однак, тому що сума ${\displaystyle V}$ губиться в процесі формування ${\displaystyle X=(X_{1},X_{2},\dots ,X_{K})}$, стає неможливо відновити початкові значення гамма-випадкових величин тільки за цими значеннями. Проте, завдяки тому, що працювати з незалежними випадковими величинами простіше, це перетворення параметрів може бути корисно при доведенні властивостей розподілу Діріхле.

Генерація випадкових чисел

Метод побудови випадкового вектора ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ для розподілу Діріхле розмірності K з параметрами ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ випливає безпосередньо з цього зв'язку. Спочатку одержимо K незалежних випадкових вибірок ${\displaystyle y_{1},\ldots ,y_{K}}$ з гамма-розподілів, кожен з який має щільність

${\displaystyle {\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

а потім покладемо

${\displaystyle x_{i}=y_{i}/\sum _{j=1}^{K}y_{j}.\!}$

Наочне трактування параметрів

Як приклад використання розподілу Діріхле можна запропонувати задачу, у якій потрібно розрізати нитки (кожна початкової довжини 1.0) на K частин з різними довжинами так, щоб усі частини мали задану середню довжину, але з можливістю деякої варіації відносних довжин частин. Значення α/α₀ визначають середні довжини частин нитки, що вийшли з розподілу. Дисперсія навколо середнього значення зворотньо пропорційна α₀.

Ланки

• Hazewinkel, Michiel, ред. (2001), distribution Dirichlet distribution, Математична енциклопедія, Springer, ISBN 978-1-55608-010-4
• Dirichlet Distribution [Архівовано 13 лютого 2010 у Wayback Machine.]
• How to estimate the parameters of the compound Dirichlet distribution (Pólya distribution) using expectation-maximization (EM) [Архівовано 19 січня 2022 у Wayback Machine.]
• Luc Devroye. Non-Uniform Random Variate Generation. Архів оригіналу за 17 липня 2012. Процитовано 19 жовтня 2019.
• Dirichlet Random Measures, Method of Construction via Compound Poisson Random Variables, and Exchangeability Properties of the resulting Gamma Distribution [Архівовано 20 січня 2022 у Wayback Machine.]
• SciencesPo [Архівовано 25 лютого 2021 у Wayback Machine.]: R package that contains functions for simulating parameters of the Dirichlet distribution.