معلومات متبادلة

المعلومات المتبادلة أو المعلومات المنقولة (بالإنجليزية: Mutual information)‏ هو مصطلح من نظرية المعلومات، تدل على قوة الارتباط الإحصائي لمتغيرين عشوائيين. وتسمى المعلومات المنقولة أيضاً توليف (بالإنجليزية: Synentropie)‏. على النقيض من توليف سلسلة ماركوف من الدرجة الأولى، والذي يعبر عن إسراف المصدر وبالتالي يجب أن يكون في حده الأدنى، يمثل تزامن القناة متوسط محتوى المعلومات الذي يصل من جهاز الإرسال إلى جهاز الاستقبال وبالتالي يجب أن يكون الحد الأقصى للمعلومات المتاحة للنقل.

تربط قناة بلا ذاكرة بين المصدرين X و Y. يتدفق التحويل من X إلى Y. يتصرف المصدر المتلقي Y للمصدر المرسل X مثل المصدر. لا يوجد فرق بين المتلقي والمرسل. كلما كانت المصادر تعتمد على بعضها البعض، كلما توفرت المزيد من المعلومات العابرة.

يستخدم مصطلح الانتروبيا في بعض الأحيان، ولكن هذا يتوافق مع تباعد كولباك-ليبلر.

يرتبط التحول المطلق ارتباطًا وثيقًا بالانتروبيا والانتروبيا الشرطية. هذه هي الطريقة التي يتم بها حساب التحول ${\displaystyle I(X;Y)}$ كالآتي:

تعريف الفرق بين إنتروبيا المصدر و‌الالتباس أو إنتروبيا الاستقبال والمعلومات الخاطئة:

${\displaystyle I(X;Y)=H(X)-H(X\vert Y)=H(Y)-H(Y\vert X).}$

التعريف عبر الاحتمالات:

${\displaystyle I(X;Y)=\sum _{x}{}\sum _{y}{}p(x,y)\cdot \log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right).}$ [1]

تعريف حول تباعد كولباك - ليبلير:

${\displaystyle I(X;Y)=D(p(x,y)\|p(x)p(y)).}$

تعريف القيمة المتوقعة:

${\displaystyle I(X;Y)=E\left\{\log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right)\right\}.}$

إذا اختفى التحويل، يمكننا الحديث عن الاستقلال الإحصائي للمتغيرين العشوائيين. يصبح التحويل أكبر قدر ممكن عندما يمكن حساب متغير عشوائي واحد بالكامل من الآخر.

قناتان بلا ذاكرة تربط ثلاثة مصادر. يمكن إرسال معلومات تحويل I (x؛ y) من مصدر المرسل X إلى مصدر المستقبل Y. إذا تم إعادة توجيه معلومات التحويل، يتلقى مصدر جهاز الاستقبال Z معلومات التحويل من I (X؛ Z). يمكن للمرء أن يرى بوضوح هنا أن المعلومات التحويلية تعتمد على مقدار المراوغة.

يعتمد تبادل المعلومات على تعريف المعلومات باستخدام الإنتروبيا (عدم اليقين، متوسط محتوى المعلومات) الذي قدمه كلود شانون. إذا زادت المعلومات المنقولة، يقل الشك بشأن المتغير العشوائي، بشرط أن يكون الآخر معروفًا. إذا كانت المعلومات المنقولة بحدها الأقصى، يختفي عدم اليقين. كما يتبين من التعريف الرسمي، يتم تقليل عدم اليقين لمتغير عشوائي عن طريق معرفة متغير آخر. يتم التعبير عن هذا في المعلومات المنقولة.

تلعب المعلومات المنقولة على سبيل المثال دورًا في نقل البيانات، يمكن استخدامه لتحديد سعة القناة.

وفقًا لذلك، يمكن أن تعتمد الإنتروبيا أيضًا على اثنين من الأنتروبيا المختلفة، التي تعتمد على بعضها البعض، وهي:

يتم استخدام مصطلحات مختلفة في المراجع المتخصصة. ويشار إلى الالتباس أيضًا على أنها «إنتروبيا الخسارة» والمعلومات الخاطئة على أنها «غير ذات صلة». ويشار أيضًا إلى المعلومات المحولة بأنها «انتقال» أو «متوسط محتوى المعلومات المحولة».

المصادر

• مارتن ويرنر: المعلومات والتشفير. الأساسيات والتطبيقات 2. الطبعة، Vieweg + Teubner Verlag ، فيسبادن 2008، ISBN 978-3-8348-0232-3 .
• Herbert Schneider-Obermann: المعرفة الأساسية بتكنولوجيا الكهرباء والرقمية وتكنولوجيا المعلومات. 1. الإصدار. Friedrich Vieweg & Sohn Verlag / GWV Fachverlage GmbH ، فيسبادن 2006، ISBN 978-3-528-03979-0 .
• D. Krönig ، M. Lang (محرر.): الفيزياء وعلوم الحاسب - علوم الحاسب والفيزياء. Springer Verlag ، برلين / هايدلبرغ 1991، ISBN 978-3-540-55298-7 .

روابط إنترنت

• Peter E. Latham, Yasser Roudi
• قنوات المعلومات وقدرتها (تم الوصول إليها في 26 فبراير 2018)
• الانتروبيا، المعلومات المحولة وتوزيع المعلومات {تسلسل الحمل (تم الوصول إليه في 26 فبراير 2018)
• نظرية المعلومات والترميز (تم الوصول إليه في 26 فبراير 2018)
• نظرية معلومات الصيغ والملاحظات (تم الوصول إليها في 26 فبراير 2018)

المراجع

1. A Distance-Based Attribute Selection Measure for Decision Tree Induction. ج. 6. ص. 81–92. DOI:10.1023/A:1022694001379. ISSN:0885-6125. مؤرشف من الأصل في 2020-07-30.