books relative entropy
If you do not find what you're looking for, you can use more accurate words.
الانتروبيا النسبية (Info)
مقياس آخر مفيد للإنتروبيا يعمل بشكل جيد على قدم المساواة في الحالة المتقطعة والمستمرة هو الانتروبيا النسبية للتوزيع. يتم تعريفه على أنه انحراف كلباك-لايبا Kullback-Leibler من التوزيع إلى مقياس مرجعي m كالتالي. نفترض أن p توزيع الاحتمال المستمر على الاطلاق ( absolutely continuous) فيما يتعلق مقياس m أي هو من شكل p(dx) = f(x)m(dx) لبعض الدوال غير السلبية القابلة للتكامل m مرة (m -integrable) دالة f مع القابلة للتكامل m مرة (m-integral) 1، ثم يمكن تعريف الإنتروبيا النسبية على أنها
في هذا الشكل ، يعمم الإنتروبيا النسبية (حتى التغيير في الإشارة) كلاً من الإنتروبيا المتقطعة، حيث يكون المقياس m هو مقياس العد ، والانتروبيا التفاضلية ، حيث المقياس m هو مقياس ليبيج Lebesgue . إذا كان المقياس m هو نفسه توزيع احتمالي ، فإن الإنتروبيا النسبية غير سالبة ، وصفر إذا كان p = m كمقاييس. يتم تعريفه لأي مساحة قياس، وبالتالي تنسيق مستقل وثابت تحت إعادة تنسيق المعلمات (reparameterizations) إذا أخذ المرء في الاعتبار بشكل صحيح تحويل المقياس m . الإنتروبيا النسبية ، والانتروبيا الضمنية والانتروبيا التفاضلية ، تعتمد على مقياس "المرجع" m .
