If you do not find what you're looking for, you can use more accurate words.
طريقة شائعة لتعريف الانتروبي لنص مبنية على نموذج ماركوف الخاص بالنص. بالنسبة لمصدر ترتيب-0 (order-0) (يتم تحديد كل حرف بشكل مستقل عن الأحرف الأخيرة) ، فإن الانتروبي الثنائي هو:
حيث pi هو احتمال i . بالنسبة لمصدر ماركوف من الترتيب-الأول (first-order)( مصدر يعتمد فيه احتمال اختيار الحرف فقط على الحرف السابق مباشرة) ، فإن معدل الإنتروبيا هو:
حيث i حالة (بعض الأحرف السابقة) و هو احتمال j بالنظر إلى الحرف i السابق.
بالنسبة لمصدر ماركوف من الترتيب الثاني (second order)، فإن معدل الإنتروبيا هو