books entropy limits as information content
If you do not find what you're looking for, you can use more accurate words.
حدود الانتروبيا كمحتوى المعلومات (Info)
هناك عدد من المفاهيم المتعلقة بالأنتروبيا التي تحدد كمية محتوى المعلومات رياضياً بطريقة ما:
- المعلومات الذاتية لرسالة أو رمز فردي مأخوذ من توزيع احتمالي معين ،
- الانتروبيا لتوزيع احتمالي معين للرسائل أو الرموز ، و
- معدل الانتروبيا لعملية عشوائية .
(يمكن أيضًا تحديد "معدل المعلومات الذاتية" لتسلسل معين من الرسائل أو الرموز الناتجة عن عملية عشوائية معينة: سيكون هذا دائمًا مساويًا لمعدل الإنتروبيا في حالة العملية الثابتة . ) تُستخدم كميات أخرى من المعلومات أيضًا لمقارنة أو ربط مصادر مختلفة من المعلومات.
من المهم عدم الخلط بين المفاهيم المذكورة أعلاه. غالبًا ما يكون واضحًا من السياق فقط ما هو المقصود. على سبيل المثال ، عندما يقول شخص ما أن "إنتروبيا" اللغة الإنجليزية حوالي 1 بت لكل حرف، فإنهم في الواقع يقومون بنمذجة اللغة الإنجليزية كعملية عشوائية ويتحدثون عن معدل الإنتروبيا الخاص بها. استخدم شانون نفسه المصطلح بهذه الطريقة.
إذا تم استخدام كتل كبيرة جدًا ، فقد يصبح تقدير معدل الإنتروبيا لكل حرف منخفضًا اصطناعياً لأن التوزيع الاحتمالي للتسلسل غير معروف تمامًا ؛ إنه مجرد تقدير. إذا نظر المرء إلى نص كل كتاب تم نشره على أنه تسلسل، مع كل رمز الذي هو نص كتاب كامل ، وإذا كان هناك N كتب منشورة ، وتم نشر كل كتاب مرة واحدة فقط، فإن تقدير احتمال كل كتاب هو 1/N ، والانتروبيا ( −log2(1/N) = log2(N) ) هي −log2(1/N) = log2(N) . كرمز عملي ، يتوافق هذا مع تعيين معرّف فريد لكل كتاب واستخدامه بدلاً من نص الكتاب كلما أراد الشخص الرجوع إلى الكتاب. هذا مفيد للغاية للتحدث عن الكتب، ولكنه ليس مفيدًا جدًا لتوصيف محتوى المعلومات لكتاب فردي، أو للغة بشكل عام: لا يمكن إعادة انشاء الكتاب من معرّفه دون معرفة توزيع الاحتمالات ، أي ، النص الكامل لجميع الكتب. الفكرة الرئيسية هي أنه يجب مراعاة تعقيد النموذج الاحتمالي. تعقيد كولموغروف Kolmogorov هو تعميم نظري لهذه الفكرة يسمح بالنظر في محتوى المعلومات في تسلسل مستقل عن أي نموذج احتمالي معين ؛ يعتبر البرنامج الأقصر لجهاز آلة تورنغ يخرج التسلسل. إن الكود الذي يحقق معدل الانتروبيا لتسلسل لنموذج معين ، بالإضافة إلى دفتر الكود (أي النموذج الاحتمالي) ، هو أحد هذه البرامج ، ولكنه قد لا يكون الأقصر.
تسلسل فيبوناتشي هو 1 ، 1 ، 2 ، 3 ، 5 ، 8 ، 13 ، ... يعامل التسلسل كرسالة وكل رقم كرمز ، هناك عدد من الرموز تقريبًا مثل عدد الأحرف في الرسالة ، مما يعطي إنتروبيا ما يقرب من log2(n) . يحتوي أول 128 رمزًا لتسلسل فيبوناتشي على إنتروبيا تقريبًا 7 بتات / رمز ، ولكن يمكن التعبير عن التسلسل باستخدام صيغة [ F(n) = F(n−1) + F(n−2) لـ n = 3, 4, 5, … ، F(1) =1 ، F(2) = 1 ] وهذه الصيغة لها إنتروبيا أقل بكثير وتنطبق على أي طول لتسلسل فيبوناتشي.
