اعتلاج شرطي

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي ${\displaystyle Y}$ بالنظر إلى أن قيمة متغير عشوائي آخر ${\displaystyle X}$ معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا ${\displaystyle Y}$ مشروطة ${\displaystyle X}$ مكتوب مثل ${\displaystyle \mathrm {H} (Y|X)}$ .

تعريف

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة ${\displaystyle X}$ و ${\displaystyle Y}$ . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة ${\displaystyle \mathrm {H} (X,Y)}$. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية ${\displaystyle \mathrm {H} (X)}$ ، مع انتروبيا الحمراء إنتروبيا مشروطة ${\displaystyle \mathrm {H} (X|Y)}$ . الدائرة على اليمين (الأزرق والبنفسجي) ${\displaystyle \mathrm {H} (Y)}$ ، مع المجال الأزرق ${\displaystyle \mathrm {H} (Y|X)}$ . البنفسج هو المعلومات المتبادلة ${\displaystyle \operatorname {I} (X;Y)}$ .

الانتروبيا الشرطية ${\displaystyle Y}$ بفرض ${\displaystyle X}$ يعرف بـ

${\displaystyle \mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}}$ (Eq.1)

حيث ${\displaystyle {\mathcal {X}}}$ و ${\displaystyle {\mathcal {Y}}}$ تدل على مجموعات الدعم ${\displaystyle X}$ و ${\displaystyle Y}$ .

ملاحظة: من المعتاد أن تكون التعابير ${\displaystyle 0\log 0}$ و ${\displaystyle 0\log c/0}$ للإصلاح ${\displaystyle c>0}$ يجب أن تعامل على أنها تساوي الصفر. هذا بسبب ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \,c/\theta =0}$ و ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$ [1]

شرح بديهي للتعريف  : حسب التعريف ، ${\displaystyle \displaystyle H(Y|X)=\mathbb {E} (\ f(X,Y)\ )}$ حيث ${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ )}$. ${\displaystyle \displaystyle f}$ مرتبطة بـ ${\displaystyle \displaystyle (x,y)}$ محتوى المعلومات ${\displaystyle \displaystyle (Y=y)}$ بفرض ${\displaystyle \displaystyle (X=x)}$ وهو مقدار المعلومات اللازمة لوصف الحدث ${\displaystyle \displaystyle (Y=y)}$ بفرض ${\displaystyle (X=x)}$ . وفقا لقانون الأعداد الكبيرة، ${\displaystyle \displaystyle H(Y|X)}$ هي المعنى الحسابي لعدد كبير من التحويلات المستقلة${\displaystyle \displaystyle f(X,Y)}$.

انظر أيضًا

• إنتروبي (نظرية المعلومات)
• معلومات متبادلة
• دالة الإمكان

المراجع

1. "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. مؤرشف من الأصل في 2020-01-07. اطلع عليه بتاريخ 2019-10-25.