كتب common entropy
اذا لم تجد ما تبحث عنه يمكنك استخدام كلمات أكثر دقة.
الإنتروبية المشتركة (معلومة)
تعبِّر الإنتروبية المشتركة لمتغيرين عشوائيين متقطعين و عن الإنتروبية الخاصة بهما معًا عندما يكونان زوجًا: . ويعني هذا ضمنيًا أنه إذا كان المتغيران و مستقلان إحصائيًا أي استقلال (نظرية الاحتمال), فإن الإنتروبية المشتركة لهما لن تعدو أن تكون مجموع إنتروبية كل منهما. ولكن القيمة الحقيقية للإنتروبية المشتركة تظهر في حالة المتغيرات العشوائية المترابطة. فعلى سبيل المثال، إذا كان المتغيران و يعبران عن درجة الحرارة في مكانٍ ما ومعدل الإصابة بضربات الشمس في نفس المكان، فإننا نتوقع أن يكون المتغيران مرتبطان، وبالتالي فإن مقياس كم المعلومات الموجود فيهما معًا (الإنتروبية المشتركة) يكون أقل من مجموعهما، نظرًا لأن هناك جزء من المعلومات التي نتعلمها من المتغير العشوائي الأول يمكن أن تفيدنا في معرفة شيء ما عن المتغير العشوائي الثاني والعكس بالعكس.
مثال آخر، إذا كان يمثلان موقع قطعة شطرنج — حيث يمثل الصف ويمثل العمود، فإن الإنتروبية المشتركة للإثنين معًا هي الإنتروبية التي تعبر عن مكان القطعة على لوحة الشطرنج. وبتطبيق نفس تعريف الإنتروبية على احتمالات المتغيرين العشوائيين معًا فإن الإنتروبية المشتركة يمكن حسابها من العلاقة:
وعلى الرغم من تشابه الرمز المعبر عن الإنتروبية المشتركة مع الرمز المعبِّر عن , الإنتروبية المتقاطعة cross entropy إلا أنه ينبغي ألا نخلط بينهما.
وقبل أن نستكمل الحديث عن كميات قياس المعلومات، لابد من التنويه عن أن الترابط بين متغيرين عشوائيين يجعل الإنتروبية المشتركة لهما أقل من مجموع الإنتروبية الخاصة بكلٍ منهما على حدة. إذ كلما زاد الترابط بين المتغيرين كانت معرفة أحدهما تُغنى عن معرفة الآخر.
ولفهم هذا المبدأ دعونا ننظر إلى الحالتين المتناقضتين: الأولى إذا كان المتغيران العشوائيان متطابقين، كأن يكون كلٌ من و متساويين، من البديهى في هذه الحالة أن المعلومات (الإنتروبية) المشتركة (المتضمنة في المتغيرين معًا) لا تزيد عن المعلومات المتضمنة في واحدٍ فقط منهما. وعلى النقيض في الحالة الثانية، إذا كان المتغيران لا توجد بينهما أية علاقة، فإن المعلومات التي يحملانها معًا (الإنتروبية المشتركة لهما) تساوى مجموع المعلومات في والمعلومات في وهي الإنتروبية الخاصة بكل منهما.
