العربية  

books المعلومات المتبادلة المعلومات المنقولة

If you do not find what you're looking for, you can use more accurate words.

View more

المعلومات المتبادلة (المعلومات المنقولة) (Info)


تقيس المعلومات المتبادلة (Mutual Information) كم المعلومات التي يمكن الحصول عليها من متغير عشوائي (مصدر معلومات) من خلال ملاحظة متغير عشوائي (مصدر معلومات) آخر. وهي من الكميات الهامة في أنظمة الاتصالات حيث يساعد فهم مقدار المعلومات المتبادلة في زيادة كم المعلومات المتبادل بين الإشارات المرسلة والإشارات المستقبلة (كما سيأتي تفصيله فيما بعد). وتقاس كمية المعلومات المتبادلة بين متغير عشوائي ومتغير عشوائي آخر طبقًا للمعادلة:

وقبل أن نبدأ في سرد خواص المعلومات المتبادلة، يجب التنويه إلى معنى هذه القيمة وعلاقتها بالإنتروبية المشتركة التي سبق الحديث عنها: حيث أن حاصل طرح: مجموع المعلومات في كلٍ و (وهو المجموع الذي يعبر عن زائد أي قدر المعلومات التي يحويها كلاهما إذا افترضنا عدم وجود ارتباط بينهما)، ناقص الإنتروبية المشتركة (وهي تعبر عن إجمالي المعلومات التي يعبر عنها و معًا) يعطينا المعلومات المعلومات المتبادلة (وهي المعلومات التي يعطيها أحدهما- وليكن - عن الآخر وليكن ). ونعبر عن هذا بالمعادلة الرياضية

، والتي تكافئ تعريف الإنتروبية المشتركة ،

ولمزيد من التوضيح إذا طرحنا المعلومات المتبادلة من المعلومات التي يحتويها المتغير العشوائي فإن هذا يعطينا كم المعلومات المتبقي (أي الغير معروف بعد) في بعد معرفة بالكامل. وهي كمية أخرى سيأتي الحديث عنها باسم الإنتروبية المشروطة (Conditional Entropy) ويرمز لها بالرمز .

ومن الخصائص الأساسية للمعلومات المتبادلة أن: ، وتفسير هذه المعادلة، أنه بمعرفة , Y, يمكننا توفير كم من النبضات الثنائية (بِت) يساوي في المتوسط عند ترميز المتغير العشوائي بالمقارنة بما يحتاجه هذا الترميز إذا لم يكن المتغير معروفًا.

وهو ما يعني ببساطة أن المعلومات التي أعطاها لنا عن تمثل الفرق بين ما كنّا نجهله عن قبل وبعد معرفة .

المعلومات المتبادلة symmetric:

أي أن المعلومات التي يحملها كل من المتغيرين العشوائيين عن الآخر متساوية.

ولمزيد من التوضيح لأهمية هذه الكمية وتطبيقاتها: دعونا نتخيل أن يعبر عن البيانات المرسلة عبر قناة اتصال، بينما يعبر عن البيانات الخارجة (المستقبلة) منها. في هذه الحالة، فإن الاختلاف بين و يعود إلى ما تتعرض له الإشارات من تداخل وشوشرة عبر قنوات الاتصال. وتعبر المعلومات المتبادلة عن كم المعلومات التي يحتويها والتي أمكن تمريرها عبر القناة. ومن هنا، يكون من الطبيعي وجود علاقة بين سعة قناة الاتصال وبين المعلومات المتبادلة بين طرفيها. وهو ما يعرف باسم سعة القناة. وببساطة شديدة، ونظرًا لاعتماد المعلومات المتبادلة على إنتروبية المتغير العشوائي ، تكون سعة القناة هي أقصى قيمة يمكن أن تأخذها المعلومات المتبادلة مع جميع المتغيرات العشوائية الممكنة. ولعل معرفة سعة القناة هو أحد أكبر إنجازات نظرية المعلومات في مجال الاتصالات، حيث تمثل هذه السعة الحد الأقصى لما يمكن أن تحققه أنظمة الاتصالات بغض النظر عن أسلوب عملها، وقد أمكن الربط بين هذه السعة وبين خصائص كود تصحيح الخطأ.

Source: wikipedia.org