Взаимная информация

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Свойство асимптотической равнораспределенности Теория частотных искажений
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)}$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

${\displaystyle I(X;Y)=I(Y;X)}$

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

${\displaystyle 0\leq I(X;Y)\leq \min[H(X),H(Y)]}$

В частности, для независимых случайных величин взаимная информация равна нулю:

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0}$

В случае, когда одна случайная величина (например, ${\displaystyle X}$) является детерминированной функцией другой случайной величины (${\displaystyle Y}$), взаимная информация равна энтропии:

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)}$

Условная и относительная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

${\displaystyle I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)}$

Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

${\displaystyle I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)}$

Свойства

• Являются симметричными функциями:

${\displaystyle I(X;Y\mid Z)=I(Y;X\mid Z)}$

${\displaystyle I(X;Y\mid Z=z)=I(Y;X\mid Z=z)}$

• Удовлетворяют неравенствам:

${\displaystyle 0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]}$

${\displaystyle 0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]}$

Взаимная информация трёх случайных величин

Определяют также взаимную информацию трёх случайных величин:

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов ${\displaystyle (x,y,z)}$, таких, что ${\displaystyle x\oplus y\oplus z=0}$. Определим случайные величины ${\displaystyle X,Y,Z}$ как значения битов ${\displaystyle x,y,z}$, соответственно. Тогда

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=1-1=0,}$

но при этом

${\displaystyle I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,}$

а, следовательно, ${\displaystyle I(X;Y;Z)=-1}$.

Литература

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
• Верещагин Н.К., Щепин Е.В. Информация, кодирование и предсказание. — М.: ФМОП, МЦНМО, 2012. — 238 с.