Дифференциальная энтропия

Теория информации
Собственная информация Информационная энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Избыточность информации Скорость передачи информации Пропускная способность канала
Теорема Шеннона для канала без шума Теоремы Шеннона для канала с шумом Теорема Шеннона — Хартли

Дифференциальная энтропия (относительная энтропия[1], энтропия непрерывной случайной величины[1]) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника.

Формула дифференциальной энтропии

В случае одномерной случайной величины дифференциальная определяется по формуле:

${\displaystyle H(X)=-\int \limits _{-\infty }^{+\infty }{f(x)\log _{2}f(x)dx}}$

где ${\displaystyle f(x)}$ — плотность распределения случайной величины ${\displaystyle X}$[1].

Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат[2].

Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная[1].

Условная дифференциальная энтропия

Условная дифференциальная энтропия для случайной величины ${\displaystyle X}$ при заданной случайной величине ${\displaystyle Y}$ определяется по формуле[3]:

${\displaystyle H(X|Y)=-\int \int \ {f_{XY}(x,y)\log _{2}f_{X}(x|y)}dxdy,}$

где ${\displaystyle f_{XY}(x,y)}$ — совместная плотность вероятности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$, ${\displaystyle f_{X}(x|y)}$ — условная плотность вероятности случайной величины ${\displaystyle X}$ при заданном значении случайной величины ${\displaystyle Y}$.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника[4]:

${\displaystyle H({X|Y})\leq H(X)}$ (для независимых случайных величин — равенство)

${\displaystyle H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)}$.

Примеры дифференциальных энтропий

• Случайная величина ${\displaystyle X}$ имеет равномерное распределение на интервале ${\displaystyle [a,b]}$:

${\displaystyle f(x)=\left\{{\begin{matrix}{\dfrac {1}{b-a}},&x\in [a,b]\\0,&x\not \in [a,b]\end{matrix}}\right.}$

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [a,b]}$, равное ${\displaystyle H(X)=\log _{2}(b-a)}$[5].

• Случайная величина ${\displaystyle X}$ имеет нормальное распределение на интервале ${\displaystyle (-\infty ,\infty )}$:

${\displaystyle f(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}}$.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle (-\infty ,\infty )}$[6], равное ${\displaystyle H(X)=\log _{2}({\sqrt {2\pi e}}\sigma )}$[7].

• Случайная величина ${\displaystyle X}$ имеет экспоненциальное распределение на интервале ${\displaystyle [0,\infty )}$:

${\displaystyle f_{X}(x)={\begin{cases}\lambda \,e^{-\lambda x},&x\geq 0,\\0,&x<0.\end{cases}}}$.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [0,\infty )}$[6], равное ${\displaystyle H(X)=1-\log _{2}(\lambda )}$.

Примечания

1. Тарасенко, 1963, с. 77.
2. Колмогоров, 1987, с. 39—41.
3. Тарасенко, 1963, с. 78.
4. Тарасенко, 1963, с. 84.
5. Тарасенко, 1963, с. 78—79.
6. Тарасенко, 1963, с. 86.
7. Варгаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 31.

Литература

• Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.
• Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
• Тарасенко Ф. П. Введение в курс теории информации. — Томск.: Изд-во Томского университета, 1963. — 240 с.