كتب differential entropy
اذا لم تجد ما تبحث عنه يمكنك استخدام كلمات أكثر دقة.
الانتروبيا التفاضلية (معلومة)
يقتصر انتروبيا شانون على متغيرات عشوائية تأخذ قيمًا متقطعة. الصيغة المقابلة لمتغير عشوائي مستمر مع دالة كثافة الاحتمال f(x) مع دعم نهائي أو لانهائي على الخط الحقيقي (real line) يتم تعريفه عن طريق القياس ، باستخدام الشكل أعلاه من الانتروبي كما هو متوقع:
يشار إلى هذه الصيغة عادةً باسم الإنتروبيا المستمرة أو الانتروبي التفاضلي . و السوابق (precursor) منالانتروبي مستمرة h[f] هو التعبير عن الدالة (وظيفية) Η في نظرية-H لبولتزمان .
على الرغم من أن التشابه بين كلتا الدالتين (الوظيفتين) إيحائي (suggestive)، إلا أنه يجب تحديد السؤال التالي: هل الإنتروبيا التفاضلية امتداد صحيح للانتروبيا المتقطعة لشانون؟ تفتقر الإنتروبيا التفاضلية إلى عدد من الخصائص التي تمتلكها إنتروبون شانون المتقطعة - يمكن أن تكون سلبية وقد اقترحت تصحيحات، لا سيما الحد من كثافة النقاط المنفصلة .
للإجابة على هذا السؤال ،التوصيل بين الدالتين (الوظيفتين) :
من أجل الحصول على مقياس نهائي (محدود) بشكل عام حيث يصل حجم الحاوية (bin size) إلى الصفر. في الحالة المتقطعة، يكون حجم الحاوية هو العرض (الضمني) لكل من صناديق n (النهائية أو اللانهائية) التي يُشار إلى احتمالاتها بواسطة pn . نظرًا لتعميم المجال المستمر ، يجب أن يكون العرض صريحًا.
للقيام بذلك ، ابدأ بدالة مستمرة f مقسمة إلى حاويات الحجم . من خلال نظرية القيمة المتوسطة ، توجد قيمة xi في كل صندوق بحيث
تكامل الدالة f يمكن تقريبه (بالمعنى الريماني) بواسطة
حيث النهاية هذه و "حجم الحاوية إلى الصفر" متساويين.
و سنستدل بـ
وتوسيع اللوغاريتم ، لدينا
كما لدينا Δ → 0 ،
ملحوظة؛ log(Δ) → −∞ كـ Δ → 0 ، يتطلب تعريفًا خاصًا للانتروبيا التفاضلية أو المستمرة:
والتي ، كما قيل من قبل ، يشار إليها باسم الانتروبي التفاضلي . هذا يعني أن الإنتروبيا التفاضلية ليست نهاية (حد) لإنتروبيا شانون لـ n → ∞ . بدلاً من ذلك ، فإنه يختلف عن نهاية إنتروبيا شانون من خلال إزاحة لانهائية (an infinite offset) (انظر أيضًا المقالة حول بُعد المعلومات )
