books relationship with thermodynamic entropy

جاء الإلهام لاعتماد كلمة انتروبي في نظرية المعلومات من التشابه الوثيق بين صيغة شانون والصيغ المعروفة جدًا من الميكانيكا الإحصائية.

في الديناميكا الحرارية الإحصائية ، الصيغة الأكثر شيوعًا للانتروبيا الديناميكية الحرارية S لنظام الديناميكا الحرارية هي إنتروبي جيبس ،

حيث k_B هي ثابت بولتزمان، و p_i هي احتمالية الحالة في حجم المايكرو (ميكروستت). النتروبي جيبس كان معرف من قبل ج.ويلارد جيبس في عام 1878 بعد عمل سابق من قبل بولتزمان 1872.

تترجم إنتروبس جيبس بشكل غير متغير تقريبًا إلى عالم فيزياء الكم لإعطاء انتروبي فون نيومان ، الذي قدمه جون فون نيومان في عام 1927،

حيث ρ هي مصفوفة كثافة النظام الميكانيكي الكمومي و Tr هو الأثر.

على المستوى العملي اليومي ، الروابط بين إنتروبيا المعلومات وإنتروبيا الديناميكا الحرارية ليست واضحة. يميل الفيزيائيون والكيميائيون إلى أن يكونوا أكثر اهتمامًا بالتغيرات في الإنتروبيا حيث يتطور النظام تلقائيًا من ظروفه الأولية ، وفقًا للقانون الثاني للديناميكا الحرارية ، بدلاً من التوزيع الاحتمالي الذي لا يتغير. كما يشير الدقيق (minuteness) من ثابت بولتزمان k_B ،التغييرات في S / k_B للكميات حتى الصغيرة من المواد في العمليات الكيميائية والفيزيائية تمثل كميات الانتروبي التي تكون كبيرة للغاية بالمقارنة مع أي شيء في ضغط البيانات أو معالجة الإشارات . في الديناميكا الحرارية الكلاسيكية ، يتم تعريف الإنتروبيا من حيث القياسات العيانية ولا تشير إلى أي توزيع احتمالي ، وهو أمر أساسي لتعريف إنتروبيا المعلومات.

تم الربط بين الديناميكا الحرارية وما يعرف الآن باسم نظرية المعلومات لأول مرة بواسطة لودفيج بولتزمان وتم التعبير عنها بواسطة معادلته الشهيرة :

حيث هو الانتروبيا الديناميكية الحرارية الميكروستت (macrostate) المعينة (معرّف بمعلمات ديناميكية حرارية مثل درجة الحرارة والحجم والطاقة وما إلى ذلك. ) ، W هو عدد الميكروستات (مجموعات مختلفة من الجسيمات في حالات الطاقة المختلفة) التي يمكن أن تنتج ماكروستات معين ، و K_B هو ثابت بولتزمان . يُفترض أن كل ميكروستات متساوٍ على الأرجح ، بحيث يكون احتمال أي ميكروستات معين هو p_i = 1/W. عندما يتم استبدال هذه الاحتمالات في التعبير أعلاه الجيبس انتروبي (أو ما يعادل k_B ضرب إنتروبيا شانون) ، نتائج معادلة بولتزمان. من حيث النظرية المعلوماتية ، فإن إنتروبيا المعلومات في النظام هي كمية المعلومات "المفقودة" اللازمة لتحديد ميكروستت (microstate)، بالنظر إلى الماكروستت.

في رأي جاينس (1957) ، يجب النظر إلى الانتروبي الحراري الديناميكي ، كما هو موضح بواسطة الميكانيكا الإحصائية ، كتطبيق لنظرية المعلومات لشانون: يتم تفسير الانتروبي الديناميكي الحراري على أنه يتناسب مع كمية معلومات شانون الإضافية اللازمة لتحديد حالة المجهر التفصيلي microscopic state للنظام، التي لا تزال غير موصوفة من خلال وصف فقط من حيث المتغيرات المجهرية للديناميكا الحرارية الكلاسيكية ، مع انتروبي ثابت التناسب ليس الا ثابت بولتزمان . تؤدي إضافة الحرارة إلى النظام إلى زيادة الإنتروبيا الديناميكية الحرارية لأنه يزيد من عدد الحالات المجهرية المحتملة للنظام التي تتوافق مع القيم القابلة للقياس لمتغيراته العيانية ، مما يجعل أي وصف كامل للحالة أطول. (انظر المادة: الديناميكا الحرارية القصوى الانتروبيا). يمكن أن يقلل شيطان ماكسويل (افتراضيًا) من الانتروبيا الديناميكية الحرارية للنظام باستخدام معلومات حول حالات الجزيئات الفردية (individual molecules)؛ ولكن ، كما أظهر لانداور (من عام 1961) وزملاءه في العمل ، لكي يعمل الشيطان نفسه يجب أن يزيد من الانتروبيا الديناميكية الحرارية في هذه العملية ، على الأقل من خلال كمية معلومات شانون التي يقترح الحصول عليها وتخزينها أولاً ؛ وبالتالي فإن الانتروبيا الديناميكية الحرارية الكلية لا تقل (مما يحل التناقض). يفرض لانداورمبدأ لانداور حدًا أدنى على كمية الحرارة التي يجب أن يولدها الكمبيوتر لمعالجة كمية معينة من المعلومات ، على الرغم من أن أجهزة الكمبيوتر الحديثة أقل كفاءة بكثير.