عرض مصدر اعتلاج (نظرية المعلومات)

{{بطاقة عامة}}
{{ميز|ترميز إنتروبي}}
{{نظرية المعلومات}}

'''اعتلاج المعلومات''' {{إنج|information entropy}} أو '''إنتروبي''' أو '''أنتروبيا'''، هي كمية أساسية في [[نظرية المعلومات]] مرتبطة بأي [[متغير عشوائي]]، والتي يمكن تفسيرها على أنها متوسط مستوى «المعلومات» أو «المفاجأة» أو «عدم اليقين» المتأصل في النتائج المحتملة للمتغير. تم تقديم مفهوم انتروبيا المعلومات من قبل [[كلود شانون]] في ورقته عام 1948 «نظرية رياضية في الاتصال».<ref name="shannonPaper1">{{استشهاد بدورية محكمة|الأخير=Shannon|الأول=Claude E.|مؤلف-وصلة=Claude Shannon|عنوان=A Mathematical Theory of Communication|صحيفة=[[Bell System Technical Journal]]|المجلد=27|العدد=3|صفحات=379–423|تاريخ=July 1948|DOI=10.1002/j.1538-7305.1948.tb01338.x}}</ref><ref name="shannonPaper2">{{استشهاد بدورية محكمة|الأخير=Shannon|الأول=Claude E.|مؤلف-وصلة=Claude Shannon|عنوان=A Mathematical Theory of Communication|صحيفة=[[Bell System Technical Journal]]|المجلد=27|العدد=4|صفحات=623–656|تاريخ=October 1948|DOI=10.1002/j.1538-7305.1948.tb00917.x}} ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref>

الإنتروبي هي [[قيمة متوقعة|القيمة المتوقعة]] للمعلومات الذاتية، وهي كمية ذات صلة قدمها شانون أيضًا. يقيس المعلومات الذاتية مستوى المعلومات أو المفاجأة المرتبطة بالنتيجة ال''واحدة'' المعينة أو حدث متغير عشوائي، في حين أن تقيس انتروبيا كم هو«مفيد» أو «مدهش» ''المتغير العشوائي كله،'' الذي بلغت متوسط كل نتائجه المحتملة.

تم إنشاء الإنتروبي في الأصل من قبل شانون كجزء من نظريته في الاتصال، حيث يتكون نظام [[نقل البيانات|اتصالات البيانات]] من ثلاثة عناصر: مصدر البيانات، [[قناة اتصال|وقناة اتصال]]، وجهاز استقبال. في نظرية شانون، إن «مشكلة الاتصال الأساسية» - كما عبر عنها شانون - هي أن يكون المتلقي قادرًا على تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها عبر القناة.<ref name="shannonPaper1" /><ref name="shannonPaper2" /> نظر شانون في طرق مختلفة لتعمية الرسائل وضغطها ونقلها من مصدر بيانات، وأثبت في نظريته الشهيرة لترميز المصدر أن الإنتروبيا تمثل حدًا رياضيًا مطلقًا حول كيفية ضغط البيانات من المصدر دون [[ضغط البيانات عديم الخسارة|ضياع]] على قناة خالية من التشويش تمامًا. عزز شانون هذه النتيجة بشكل كبير للقنوات الصاخبة في نظرية الترميز ذات القناة الصاخبة.

يمكن تفسير الإنتروبيا أيضًا على أنها [[قيمة متوقعة|متوسط]] معدل إنتاج [[معلومة|المعلومات من]] خلال مصدر [[تصادفية|احصائي]] للبيانات. عندما ينتج مصدر البيانات قيمة احتمالية منخفضة (على سبيل المثال، عند وقوع حدث احتمالية منخفضة)، يحمل الحدث «معلومات» أكثر مما ينتج عندما ينتج مصدر البيانات قيمة احتمالية عالية. يُمَثَّل مفهوم «المعلومات» رسميًا من خلال كمية المعلومات الذاتية لشانون، ويتم أيضًا تفسيرها أحيانًا على أنها «مفاجأة». ثم تصبح كمية المعلومات التي ينقلها كل حدث فردي [[متغير عشوائي|متغيرًا عشوائيًا]] قيمته المتوقعة هي إنتروبيا المعلومات.

ليكن المتغير العشوائي <math>X</math> ، مع النتائج المحتملة <math>x_i</math> ، لكل منها احتمال <math>P_X(x_i)</math> انتروبي <math>H(X)</math> من <math>X</math> على النحو التالي:

:<math display="">H(X) = -\sum_i P_X(x_i) \log_b{P_X(x_i)} = \sum_i P_X(x_i) I_X(x_i) = \operatorname{E}[I_X]</math>

حيث <math>I_X(x_i)</math> هي المعلومات الذاتية المرتبطة بنتيجة معينة؛ <math>I_X</math> هي المعلومات الذاتية للمتغير العشوائي <math>X</math> بشكل عام، يعامل كمتغير عشوائي مشتق جديد؛ و <math>\operatorname{E}[I_X]</math> هي [[قيمة متوقعة|القيمة المتوقعة]] لهذا المتغير العشوائي الجديد، وهي تساوي مجموع المعلومات الذاتية لكل نتيجة، ومرجحة باحتمال حدوث كل نتيجة <ref name="pathriaBook">{{استشهاد بكتاب|مؤلف1=Pathria|الأول=R. K.|مؤلف2=Beale|الأول2=Paul|تاريخ=2011|عنوان=Statistical Mechanics (Third Edition)|مسار=https://books.google.com/?id=KdbJJAXQ-RsC&printsec=frontcover#v=onepage&q&f=false|ناشر=Academic Press|صفحة=51|ISBN=978-0123821881| مسار أرشيف = https://web.archive.org/web/20200617052231/https://books.google.com/books?id=KdbJJAXQ-RsC&printsec=frontcover&hl=en#v=onepage&q&f=false | تاريخ أرشيف = 17 يونيو 2020 }}</ref>؛ و <math>b</math> ، أساس اللوغاريتم، هو معلمة جديدة يمكن تعيينها بطرق مختلفة لتحديد اختيار الوحدات لإنتروبيا المعلومات.

يتم قياس انتروبي المعلومات عادة بوحدة ال<nowiki/>[[بت]] (وتسمى بدلا من ذلك «شانون»)، الموافق أساس 2 في المعادلة المذكورة أعلاه. كما يتم قياسه أحيانًا «بوحدات طبيعية» (ناتس [[:en:Nat (unit)|nats]])، تقابل الأساس [[ه (رياضيات)|e]] أو الأرقام العشرية (تسمى "dits" أو "bans" أو " hartleys ")، المقابلة للأساس 10.

تعريف شانون فريد بشكل أساسي من حيث أنه هو الوحيد الذي له خصائص معينة: يتم تحديده بالكامل من خلال التوزيع الاحتمالي لمصدر البيانات، وهو اضافي للمصادر المستقلة، يتم تعظيمه في التوزيع الموحد، يتم تصغيره (وتساوي الصفر) عندما يكون هناك احتمال بنسبة 100٪ لحدوث حدث واحد فقط، ويطيع نسخة معينة مشتقة من قاعدة سلسلة الاحتمالات. يتم شرح الاشتقاقات البديهية للانتروبيا في الصفحة أدناه.

يتشابه تعريف الإنتروبيا المستخدم في نظرية المعلومات بشكل مباشر مع التعريف المستخدم في [[ميكانيكا إحصائية|الديناميكا الحرارية الإحصائية]]، وهي علاقة تم تفصيلها في الصفحة إنتروبي في الديناميكا الحرارية ونظرية المعلومات.

== المقدمة ==
الفكرة الأساسية لنظرية المعلومات هي أن «القيمة المعلوماتية» للرسالة التي يتم توصيلها تعتمد على درجة مفاجأة محتوى الرسالة. إذا كان الحدث محتملاً للغاية، فليس من المستغرب (و غير مهم بشكل عام) عندما يحدث هذا الحدث كما هو متوقع؛ وبالتالي فإن إرسال مثل هذه الرسالة يحمل القليل من المعلومات الجديدة. ومع ذلك، إذا كان من غير المحتمل حدوث حدث، فمن المفيد جدًا معرفة أن الحدث قد وقع أو سيحدث. على سبيل المثال، معرفة أن بعض الأرقام المحددة ''لن'' تكون الرقم الفائز في اليانصيب تقدم معلومات قليلة جدًا، لأن أي رقم محدد تم اختياره لن يكسب بالتأكيد. ومع ذلك، معرفة أن عدد معين ''سيفوز'' اليانصيب لها قيمة عالية لأنه يتصل مع نتيجة لحدث احتمال ضعيف جدا.

محتوى المعلومات (يسمى أيضًا ''المفاجأة'') للحدث <math>E</math> هي دالة متزايدة للتبادلية للاحتمال <math>p(E)</math> الحدث، على وجه التحديد <math>I(E) = -\log_2(p(E)) = \log_2(1/p(E))</math> . يقيس الانتروبيا الكمية المتوقعة (أي المتوسطة) من المعلومات المنقولة عن طريق تحديد نتيجة تجربة عشوائية. هذا يعني أن رمي النرد له إنتروبيا أعلى من رمي عملة معدنية لأن كل نتيجة لرمي النرد لها احتمال أقل (حول <math>p=1/6</math>) من كل نتيجة رمي عملة (<math>p=1/2</math>).

الإنتروبيا هي مقياس لعدم ''القدرة'' على ''التنبؤ'' بالحالة، أو ما يعادلها من ''متوسط محتوى المعلومات'' . للحصول على فهم بديهي لهذه المصطلحات، فكر في مثال استطلاع سياسي. عادةً، تحدث مثل هذه الاستطلاعات لأن نتيجة الاستطلاع غير معروفة بالفعل. وبعبارة أخرى، فإن نتائج الاستطلاع غير ''متوقعة'' نسبيًا، كما أن إجراء الاستطلاع وتعلم النتائج يعطي بعض ''المعلومات'' الجديدة؛ هذه مجرد طرق مختلفة لقول أن الإنتروبيا ''الأولية'' لنتائج الاستطلاع كبيرة. الآن، ضع في اعتبارك حالة إجراء نفس الاستطلاع مرة أخرى بعد وقت قصير من الاستطلاع الأول. بما أن نتيجة الاستطلاع الأول معروفة بالفعل، يمكن توقع نتائج الاستطلاع الثاني بشكل جيد ويجب ألا تحتوي النتائج على معلومات جديدة كثيرة؛ في هذه الحالة، ''يكون'' الانتروبيا ''الأولية'' لنتائج الاستطلاع الثانية صغيرة بالنسبة إلى النتيجة الأولى.

تأمل في مثال [[تقليب العملة المعدنية|رمي العملة]]. إذا كان احتمال الرأس هو نفسه احتمال ذيول، فإن الإنتروبيا في رمي العملة عالية كما يمكن أن تكون لمحاكمة ذات نتيجتين. لا توجد طريقة للتنبؤ بنتائج رمي العملة في وقت مبكر: إذا كان على المرء أن يختار، فلا يوجد متوسط ميزة يمكن اكتسابها من خلال التنبؤ بأن الرمي سيخرج رؤوسًا أو ذيول، حيث سيكون أي توقع صحيحًا مع الاحتمال <math>1/2</math> . مثل رمي العملة هذا لديه جزء من الانتروبيا حيث أن هناك نتيجتين محتملتين تحدثان باحتمالية متساوية، وتعلم النتيجة الفعلية تحتوي على جزء واحد من المعلومات. على النقيض من ذلك، فإن رمي العملة باستخدام عملة لها رأسان ولا ذيول لا يوجد أي إنتروبيا حيث أن العملة ستظهر دائمًا رؤوس، ويمكن توقع النتيجة بشكل مثالي. بالمقابل، فإن حدثًا ثنائيًا بنتائج قابلة للتوازن له إنتروبيا شانون <math>\log_2 2=1</math> قليلا. وبالمثل، [[نظام عد ثلاثي|يحتوي النظام الثلاثي trit]] واحد [[نظام عد ثلاثي|بقيم]] متساوية <math>\log_2 3</math> (حوالي 1.58496) بت من المعلومات لأنه يمكن أن يحتوي على واحدة من ثلاث قيم.

النص الإنجليزي، الذي يعامل كسلسلة من الأحرف، لديه إنتروبيا منخفض إلى حد ما، أي يمكن التنبؤ به إلى حد ما. إذا لم نكن نعرف بالضبط ما الذي سيأتي بعد ذلك، فيمكننا أن نكون على يقين إلى حد ما، على سبيل المثال، "e" ستكون أكثر شيوعًا بكثير من "z"، وأن المجموعة "qu" ستكون أكثر شيوعًا من أي شيء آخر بالاشتراك مع "q"، وأن النسخة "th" ستكون أكثر شيوعًا من "z" أو "q" أو "qu". بعد الحروف القليلة الأولى، يمكن للمرء في كثير من الأحيان أن يخمن بقية الكلمة. يحتوي النص الإنجليزي على ما بين 0.6 و 1.3 بت من الإنتروبيا لكل حرف في الرسالة.<ref name="Schneier, B page 234">Schneier, B: ''Applied Cryptography'', Second edition, John Wiley and Sons.</ref> {{صفحات مرجع|234}}

إذا كان نظام [[ضغط بيانات|الضغط]] بدون خسارة - حيث يمكنك دائمًا استرداد الرسالة الأصلية بالكامل عن طريق إزالة الضغط - عندئذٍ تحتوي الرسالة المضغوطة على نفس كمية المعلومات مثل الأصل، ولكن يتم توصيلها بأحرف أقل. لديها المزيد من المعلومات (إنتروبيا أعلى) لكل حرف. تحتوي الرسالة المضغوطة على [[فائضية (نظرية المعلومات)|تكرار]] أقل. تنص نظرية شاندون لترميز المصدر على أن نظام الضغط بدون خسارة لا يمكنه ضغط الرسائل، في المتوسط، للحصول على ''أكثر'' من بت واحد من المعلومات لكل بت من الرسالة، ولكن يمكن تحقيق أي قيمة ''أقل'' من بت واحد من المعلومات لكل بت من الرسالة عن طريق استخدام مخطط مناسب للترميز. إن إنتروبية الرسالة لكل بت مضروبة في طول تلك الرسالة هو مقياس لمقدار المعلومات الإجمالية التي تحتوي عليها الرسالة.

إذا كان على المرء أن يرسل تسلسلات تشتمل على الأحرف الأربعة "A" و "B" و "C" و "D"، فقد تكون الرسالة المرسلة "ABADDCAB". تعطي نظرية المعلومات طريقة لحساب أصغر كمية ممكنة من المعلومات التي ستنقل ذلك. إذا كانت جميع الأحرف الأربعة متساوية (25٪)، فلا يمكن للمرء أن يقوم بأفضل (عبر قناة ثنائية) من أن يكون له ترميز 2 بت (عبر قناة ثنائية) كل حرف: "A" قد يرمز إلى "00"، "B" كـ "01" و "C" كـ "10" و "D" كـ "11". في حالة حدوث "A" باحتمال 70٪، و "B" بنسبة 26٪، و "C" و "D" بنسبة 2٪ لكل منهما، يمكن للمرء تعيين رموز طول متغيرة، بحيث استقبال "1" يقول لنا أن ننظر في بت آخر ما لم يتم بالفعل استقبال بت 2 من المتسلسلة 1s. في هذه الحالة، يتم ترميز "A" كـ "0" (بت واحد) و "B" كـ "10" و "C" و "D" كـ "110" و "111". من السهل ملاحظة أن 70٪ من الوقت يحتاج إلى إرسال بت واحد فقط، و 26٪ من الوقت بتين، و 4٪ فقط من الوقت 3 بتات. في المتوسط، يلزم أقل من 2 بت لأن الإنتروبيا أقل (بسبب الانتشار الواسع لـ "A" متبوعًا بـ "B" - معًا 96٪ من الأحرف). حساب مجموع الاحتمالية الموزنة للوغاريتم الخاص بالاحتمالات المقاسة والمأخوذة لهذا التأثير.

تفترض نظرية شانون أيضًا أنه لا يوجد نظام ضغط بدون خسارة المخطط يمكن أن يقصر ''جميع'' الرسائل. إذا كانت بعض الرسائل أقصر، فيجب أن تظهر رسالة واحدة على الأقل لفترة أطول بسبب [[مبدأ برج الحمام|مبدأ ثقب برج الحمام]]. في الاستخدام العملي، هذه ليست مشكلة بشكل عام، لأن المرء عادة ما يهتم فقط بضغط أنواع معينة من الرسائل، مثل مستند باللغة الإنجليزية، على عكس نص لطلاسم أو صور رقمية بدلاً من الضجيج، وهو غير مهم إذا كانت خوارزمية الضغط تجعل بعض التسلسلات غير المتوقعة أو غير المثيرة للاهتمام أكبر.

== تعريف ==
[[ملف:Entropy_flip_2_coins.jpg|تصغير|300x300بك| لقطتان من الإنتروبيا: في حالة رمي قطعة نقدية عادلة ، فإن الإنتروبيا المعلوماتية في البتات هي اللوغاريتم الأساسي 2 لعدد النتائج المحتملة ؛ مع عملتين ، هناك أربع نتائج محتملة ، وقطعتين من انتروبي. بشكل عام ، تعتبر إنتروبيا المعلومات هي متوسط كمية المعلومات التي ينقلها الحدث ، عند النظر في جميع النتائج المحتملة.]]
سميت نظرية شانون [[مبرهنة إتش|باسم نظرية بولتزمان]]، وقد عرّف شانون الانتربي {{تعبير رياضي|Η}} ({{تعبير رياضي|Η}} اليوناني الكبير [[إتا (حرف)|eta]]) [[متغير عشوائي|لمتغير عشوائي متقطّع]] <math display="inline">X</math> مع القيم المحتملة <math display="inline">\left\{x_1, \ldots, x_n \right\}</math> ووظيفة الكتلة الاحتمالية <math display="inline">\mathrm{P}(X)</math> مثل:

: <math>\Eta(X) = \operatorname{E}[\operatorname{I}(X)]
= \operatorname{E}[-\log(\mathrm{P}(X))].</math>

هنا <math>\operatorname{E}</math> هو [[قيمة متوقعة|عامل القيمة المتوقعة]]، {{تعبير رياضي|I}} هو محتوى معلومات {{تعبير رياضي|''X''}} <ref>{{استشهاد بكتاب|مؤلف1=Borda, Monica|عنوان=Fundamentals in Information Theory and Coding|ناشر=Springer|سنة=2011|ISBN=978-3-642-20346-6|مسار=https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11| مسار أرشيف = https://web.archive.org/web/20170215163410/https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11 | تاريخ أرشيف = 15 فبراير 2017 }}</ref> {{صفحات مرجع|11}} <ref>{{استشهاد بكتاب|مؤلف1=Han, Te Sun & Kobayashi, Kingo|عنوان=Mathematics of Information and Coding|ناشر=American Mathematical Society|سنة=2002|ISBN=978-0-8218-4256-0|مسار=https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19| مسار أرشيف = https://web.archive.org/web/20170215163417/https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19 | تاريخ أرشيف = 15 فبراير 2017 }}</ref> {{صفحات مرجع|19–20}} <math>I(X)</math> هو نفسه متغير عشوائي.

يمكن كتابة الأنتربي بشكل صريح كـ {{Equation box 1|border|indent=|title=|equation=<math>\Eta(X) = -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)}</math>|cellpadding=6|border colour=#0073CF|background colour=#F5FFFA}} حيث {{تعبير رياضي|''b''}} هي أساس [[لوغاريتم|اللوغاريتم]] المستخدم. القيم الشائعة لـ {{تعبير رياضي|''b''}} هي 2، [[ه (رياضيات)|رقم أويلر {{تعبير رياضي|''e''}}]] ، و 10، والوحدات المقابلة من الإنتروبيا هي [[بت|البتات]] لـ {{تعبير رياضي|''b'' {{=}} 2}} ، nats لأجل {{تعبير رياضي|''b'' {{=}} ''e''}}، [[:en:Ban (unit)|bans]] لـ {{تعبير رياضي|''b'' {{=}} 10}}.<ref>Schneider, T.D, [http://users.fred.net/tds/lab/paper/primer/primer.pdf Information theory primer with an appendix on logarithms], National Cancer Institute, 14 April 2007. {{Webarchive|url=https://web.archive.org/web/20200614210211/http://users.fred.net/tds/lab/paper/primer/primer.pdf |date=14 يونيو 2020}}</ref>

في حالة {{تعبير رياضي|P(''x''<sub>''i''</sub>) {{=}} 0}} بالنسبة لبعض {{تعبير رياضي|''i''}} ، تُعتبر قيمة التلخيص المقابل (corresponding summand)؛{{تعبير رياضي|0 log<sub>''b''</sub>(0)}} هي {{تعبير رياضي|0}} ، وهو ما يتوافق مع [[نهاية دالة|النهاية]]:

: <math>\lim_{p\to0^+}p\log (p) = 0.</math>

يمكن للمرء أيضًا تعريف الإنتروبي الشرطي لحدثين <math>X</math> و <math>Y</math> أخذ القيم <math>x_i</math> و <math>y_j</math> على التوالي

: <math> \Eta(X|Y)=-\sum_{i,j}p(x_{i},y_{j})\log\frac{p(x_{i},y_{j})}{p(y_{j})}</math>

حيث <math>p(x_i,y_j)</math> هو احتمال ذلك <math>X=x_i</math> و <math>Y=y_j</math> . يجب فهم هذه الكمية على أنها مقدار العشوائية في المتغير العشوائي <math>X</math> بالنظر إلى المتغير العشوائي <math>Y</math>.

== مثال ==
[[ملف:Binary_entropy_plot.svg|يسار|تصغير|200x200بك| الانتروبيا {{تعبير رياضي|Η(''X'')}} (أي المفاجأة [[قيمة متوقعة|المتوقعة]]) لقلب عملة، مقاسة بالبتات، مقابل رسم بياني مقابل انحياز العملة {{تعبير رياضي|Pr(''X'' {{=}} 1)}} ، حيث تمثل {{تعبير رياضي|''X'' {{=}} 1}} نتيجة للرؤوس. <br />هنا، يكون الإنتروبيا 1 بت على الأكثر، وسيتطلب توصيل نتيجة قلب العملة (قيمتان محتملتان) متوسط 1 بت على الأكثر (1 بت بالضبط لعملة عادلة). تتطلب نتيجة الموت العادل (6 قيم محتملة) في المتوسط <sub>2</sub> بت <sub>2</sub> 6 بت. ]]
ضع في اعتبارك رمي عملة معدنية باحتمالات ظهور رؤوس أو ذيول، وليس بالضرورة عملة عادلة؛ يمكن نمذجة هذا على أنه عملية برنولي.

يتم تكبير الانتروبيا للنتيجة غير المعروفة للرمي التالي للعملة إذا كانت العملة عادلة (أي إذا كان لكل من الرؤوس والذيول احتمال متساوي 1/2). هذا هو وضع الحد الأقصى من عدم اليقين حيث يصعب التنبؤ بنتيجة الرمي التالي؛ نتيجة كل رمية لعملة واحدة توفر [[بت]] كامل من المعلومات. هذا بسبب

: <math>\begin{align}
\Eta(X) &= -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2}\log_2{\frac{1}{2}}} 
\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1
\end{align}</math>

ومع ذلك، إذا كنا نعلم أن العملة ليست عادلة، ولكن تأتي برؤوس أو ذيول مع الاحتمالات {{تعبير رياضي|''p''}} و {{تعبير رياضي|''q''}} ، حيث {{تعبير رياضي|''p'' ≠ ''q''}} ، فهناك قدر أقل من عدم اليقين. في كل مرة يتم رميها، من المرجح أن يأتي أحد الجانبين أكثر من الآخر. يتم قياس عدم اليقين المنخفض في إنتروبيا أقل: في المتوسط تقدم كل رمية للعملة أقل من [[بت]] كامل من المعلومات. على سبيل المثال، إذا كانت {{تعبير رياضي|''p''}} = 0.7، إذن

: <math display="block">\begin{align}
\Eta(X) &= - p \log_2 (p) - q \log_2 (q)
\\ &= - 0.7 \log_2 (0.7) - 0.3 \log_2 (0.3) 
\\ &\approx - 0.7 \cdot (-0.515) - 0.3 \cdot (-1.737) 
\\ &= 0.8816 < 1
\end{align}</math>

ينتج عن الاحتمال الموحد أقصى قدر من عدم اليقين وبالتالي أقصى انتروبيا. الإنتروبيا، إذن، يمكن أن تنخفض فقط من القيمة المرتبطة بالاحتمال المنتظم. الحالة القصوى هي عملة ذات رأسين لا تظهر ذيولًا أبدًا، أو عملة ذات ذيل مزدوج لا ينتج عنها رأس أبدًا. ثم ليس هناك شك. انتروبي هو صفر: كل رمية للعملة لا تقدم أي معلومات جديدة حيث تكون نتيجة كل رمية للعملة مؤكدة دائمًا.

يمكن تطبيع الانتروبيا بتقسيمها على طول المعلومات. تسمى هذه النسبة انتروبي المتري وهي مقياس لعشوائية المعلومات.

== الأساس المنطقي ==
لفهم معنى {{تعبير رياضي|-∑ ''p''<sub>''i''</sub> log(''p''<sub>''i''</sub>)}} ، قم أولاً بتعريف دالة المعلومات {{تعبير رياضي|I}} من حيث الحدث {{تعبير رياضي|''i''}} مع الاحتمال {{تعبير رياضي|''p''<sub>''i''</sub>}} . كمية المعلومات المكتسبة نتيجة لمراقبة الحدث {{تعبير رياضي|''i''}} التالي من حل شانون الأساسي لل<nowiki/>خصائص من المعلومات:<ref>{{استشهاد بكتاب|مؤلف1=Carter|الأول=Tom|تاريخ=March 2014|عنوان=An introduction to information theory and entropy|مسار=http://csustan.csustan.edu/~tom/Lecture-Notes/Information-Theory/info-lec.pdf|مكان=Santa Fe|صفحة=|ISBN=|تاريخ الوصول=4 August 2017| مسار أرشيف = https://web.archive.org/web/20160604130248/http://csustan.csustan.edu/~tom/Lecture-Notes/Information-Theory/info-lec.pdf | تاريخ أرشيف = 4 يونيو 2016 }}</ref>

# {{تعبير رياضي|I(''p'')}} هو [[دالة رتيبة]] في {{تعبير رياضي|''p''}}. الزيادة في احتمالية حدث يثلل المعلومات من الحذف المراقب، والعكس بالعكس.
# {{تعبير رياضي|I(''p'') ≥ 0}} : المعلومات ليست كمية سالبة.
# {{تعبير رياضي|I(1) {{=}} 0}} : الأحداث التي تحدث دائماً لا توصل معلومات.
# {{تعبير رياضي|I(''p''<sub>1</sub> ''p''<sub>2</sub>) {{=}} I(''p''<sub>1</sub>) + I(''p''<sub>2</sub>)}} : المعلومات عبر الاحداث المستقلة هي جمعية.

الأخير هو خاصية حاسمة. وينص على أن الاحتمال المشترك للمصادر المستقلة للمعلومات ينقل الكثير من المعلومات مثل الحدثين الفرديين بشكل منفصل. خاصةً، إذا كان الحدث الأول يمكن أن يسفر عن واحدة من {{تعبير رياضي|''n''}} متوازن النتائج وآخر واحدة من {{تعبير رياضي|''m''}} متوازن نتائج ثم هناك نتائج {{تعبير رياضي|''mn''}} المحتملة لهذا الحدث المشترك. هذا يعني أنه إذا كانت هناك حاجة إلى بتات {{تعبير رياضي|log<sub>2</sub>(''n'')}} لتعمية القيمة الأولى {{تعبير رياضي|log<sub>2</sub>(''m'')}} لترميز الثانية، يحتاج المرء إلى {{تعبير رياضي|log<sub>2</sub>(''mn'') {{=}} log<sub>2</sub>(''m'') + log<sub>2</sub>(''n'')}} لترميز كليهما . اكتشف شانون أن الاختيار الصحيح للدالة لقياس المعلومات، والحفاظ على هذه الإضافة، هو لوغاريتمي، أي

: <math>\mathrm{I}(p) = \log\left(\tfrac{1}{p}\right) = -\log(p):</math>

لتكن <math display="inline">I</math> هي دالة المعلومات التي يفترض المرء أنها قابلة للتمييز باستمرار مرتين، وعليه:

: <math>\begin{align}
& I(p_1 p_2) &=\ & I(p_1) + I(p_2) && \quad \text{Starting from property 4} \\
& p_2 I'(p_1 p_2) &=\ & I'(p_1) && \quad \text{taking the derivative w.r.t}\ p_1 \\
& I'(p_1 p_2) + p_1 p_2 I''(p_1 p_2) &=\ & 0 && \quad \text{taking the derivative w.r.t}\ p_2 \\
& I'(u) + u I''(u) &=\ & 0 && \quad \text{introducing}\, u = p_1 p_2 \\
& (u \mapsto u I'(u))' &=\ & 0
\end{align}</math>

هذه [[معادلة تفاضلية|المعادلة التفاضلية]] تؤدي إلى الحل <math>I(u) = k \log u</math> لأي <math>k \in \mathbb{R}</math> . شرط 2. يؤدي إلى <math>k < 0</math> وخاصة، <math>k </math> يمكن اختياره في النموذج <math>k = - 1/\log x</math> مع <math>x > 1</math> ، وهو ما يعادل اختيار [[لوغاريتم|أساس]] محدد [[لوغاريتم|للوغاريتم]]. مختلف [[وحدات تخزين المعلومات|وحدات المعلومات]] ([[بت]] ل<nowiki/>[[لوغاريتم ثنائي|وغاريتم ثنائي]] {{تعبير رياضي|log<sub>2</sub>}} ناتس لل [[لوغاريتم طبيعي|اللوغاريتم الطبيعي]] {{تعبير رياضي|ln}} [[:en:Ban (unit)|bans]] لل<nowiki/>[[لوغاريتم عشري|وغاريتم العشري]] {{تعبير رياضي|log<sub>10</sub>}} وهلم جرا) هي [[تناسب (رياضيات)|مضاعفات ثابتة]] من بعضها البعض. على سبيل المثال، في حالة رمي عملة عادلة، توفر الرؤوس {{تعبير رياضي|log<sub>2</sub>(2) {{=}} 1}} بت من المعلومات، وهو ما يقرب من 0.693 &nbsp; ناتس أو 0.301 &nbsp; أرقام عشرية. بسبب الجمع، وتوفر {{تعبير رياضي|''n''}} {{تعبير رياضي|''n''}} رميات من بت من المعلومات، وهو ما يقرب من {{تعبير رياضي|0.693''n''}} ناتس أو {{تعبير رياضي|0.301''n''}} رقما {{تعبير رياضي|0.301''n''}} عشري.

إذا كان هناك توزيع حيث حدث {{تعبير رياضي|''i''}} أن يحدث مع احتمال {{تعبير رياضي|''p''<sub>''i''</sub>}} وتم أخذ عينات {{تعبير رياضي|''N''}} مرات مع نتائج {{تعبير رياضي|''i''}} تحدث {{تعبير رياضي|''n''<sub>''i''</sub> {{=}} ''N'' ''p''<sub>''i''</sub>}} مرات {{تعبير رياضي|''n''<sub>''i''</sub> {{=}} ''N'' ''p''<sub>''i''</sub>}} فإن المبلغ الإجمالي من المعلومات التي تلقيناها من

: <math>\sum_i {n_i \mathrm{I}(p_i)} = -\sum_i {N p_i \log{p_i}}</math> .

وبالتالي فإن ''[[متوسط رياضي|متوسط]]'' كمية المعلومات التي نتلقاها لكل حدث هو

: <math>-\sum_i {p_i \log {p_i}}.</math>

نتيجة لما سبق، وبسبب استخدام اللوغاريتم في التعريف المشتق للانتروبيا، فإن الإنتروبيا مضافة أيضًا للمصادر المستقلة. على سبيل المثال، وانتروبي من رمية عملة عادلة هو 1 بت، وانتروبي من قذفات {{تعبير رياضي|''m''}} هو {{تعبير رياضي|''m''}} بت. في تمثيل مباشر، هناك حاجة ل {{تعبير رياضي|log<sub>2</sub>(''n'')}} بت لتمثيل متغير الذي يمكن أن يأخذ واحدة من القيم {{تعبير رياضي|''n''}} إذا كان {{تعبير رياضي|''n''}} هو قوة 2، والذي هو {{تعبير رياضي|''n'' {{=}} 2<sup>''k''</sup>}} إذا كانت هذه القيم مُحتمَلة بنفس القدر، فإن الإنتروبيا (بالبتات) تساوي {{تعبير رياضي|log<sub>2</sub>(''n''){{=}} ''k''}} . إذا كانت إحدى القيم أكثر احتمالية لحدوثها من القيم الأخرى، فإن ملاحظة أن هذه القيمة تحدث تكون أقل إفادة مما لو حدثت بعض النتائج الأقل شيوعًا. على العكس من ذلك، توفر الأحداث النادرة مزيدًا من المعلومات عند ملاحظتها. نظرًا لأن ملاحظة الأحداث الأقل احتمالًا تحدث بشكل أكثر ندرة، فإن التأثير الصافي هو أن الإنتروبيا (التي يُعتقد أنها متوسط المعلومات) الواردة من البيانات غير الموزعة بشكل منتظم تكون دائمًا أقل من أو تساوي {{تعبير رياضي|log<sub>2</sub>(''n'')}}. الانتروبيا هي صفر عندما تكون هناك نتيجة واحدة مؤكدة. تحدد الأنتروبيا هذه الاعتبارات عندما يُعرّف التوزيع الاحتمالي لبيانات المصدر. ال''معنى'' من الأحداث التي تمت ملاحظتها (معنى ''الرسائل'') لا يهم في تعريف انتروبي. تأخذ إنتروبي بعين الاعتبار فقط احتمال ملاحظة حدث معين، لذا فإن المعلومات التي تتضمنها هي معلومات حول توزيع الاحتمال الأساسي، وليس معنى الأحداث نفسها.

== اعتبارات ==

=== العلاقة مع الانتروبيا الديناميكية الحرارية ===
جاء الإلهام لاعتماد كلمة ''انتروبي'' في نظرية المعلومات من التشابه الوثيق بين صيغة شانون والصيغ المعروفة جدًا من [[ميكانيكا إحصائية|الميكانيكا الإحصائية]].

في [[ميكانيكا إحصائية|الديناميكا الحرارية الإحصائية]]، الصيغة الأكثر شيوعًا [[إنتروبيا|للانتروبيا]] الديناميكية الحرارية {{تعبير رياضي|''S''}} [[نظام (تحريك حراري)|لنظام الديناميكا الحرارية]] هي [[إنتروبي جيبس]]،

: <math>S = - k_\text{B} \sum p_i \ln p_i \,</math>

حيث {{تعبير رياضي|''k''<sub>B</sub>}} <math>''p''<sub>''i''</sub></math>هي [[ثابت بولتزمان]]، و {{تعبير رياضي|''p''<sub>''i''</sub>}} هي احتمالية الحالة في حجم المايكرو (ميكروستت). النتروبي جيبس كان معرف من قبل ج.ويلارد جيبس في عام 1878 بعد عمل سابق من قبل بولتزمان 1872.

تترجم إنتروبس جيبس بشكل غير متغير تقريبًا إلى عالم [[ميكانيكا الكم|فيزياء الكم]] لإعطاء [[إنتروبيا فون نيومان|انتروبي فون نيومان]]، الذي قدمه [[جون فون نيومان]] في عام 1927،

: <math>S = - k_\text{B} \,{\rm Tr}(\rho \ln \rho) \,</math>

حيث ρ هي [[مصفوفة الكثافة|مصفوفة كثافة]] النظام الميكانيكي الكمومي و Tr هو [[أثر (جبر خطي)|الأثر]].

على المستوى العملي اليومي ، الروابط بين إنتروبيا المعلومات وإنتروبيا الديناميكا الحرارية ليست واضحة. يميل الفيزيائيون والكيميائيون إلى أن يكونوا أكثر اهتمامًا ''بالتغيرات'' في الإنتروبيا حيث يتطور النظام تلقائيًا من ظروفه الأولية ، وفقًا [[القانون الثاني للديناميكا الحرارية|للقانون الثاني للديناميكا الحرارية]]، بدلاً من التوزيع الاحتمالي الذي لا يتغير. كما يشير الدقيق (minuteness) من [[ثابت بولتزمان]] {{تعبير رياضي|''k''<sub>B</sub>}} ، التغييرات في {{تعبير رياضي|''S'' / ''k''<sub>B</sub>}} للكميات حتى الصغيرة من المواد في العمليات الكيميائية والفيزيائية تمثل كميات الانتروبي التي تكون كبيرة للغاية بالمقارنة مع أي شيء في [[ضغط بيانات|ضغط البيانات]] أو [[معالجة الإشارة|معالجة الإشارات]]. في الديناميكا الحرارية الكلاسيكية ، يتم تعريف الإنتروبيا من حيث القياسات العيانية ولا تشير إلى أي توزيع احتمالي ، وهو أمر أساسي لتعريف إنتروبيا المعلومات.

تم الربط بين الديناميكا الحرارية وما يعرف الآن باسم نظرية المعلومات لأول مرة بواسطة [[لودفيغ بولتزمان|لودفيج بولتزمان]] وتم التعبير عنها بواسطة معادلته الشهيرة :

: <math>S=k_\text{B} \ln(W)</math>

حيث <math>S</math> هو الانتروبيا الديناميكية الحرارية الميكروستت (macrostate) المعينة (معرّف بمعلمات ديناميكية حرارية مثل درجة الحرارة والحجم والطاقة وما إلى ذلك.)، ''W'' هو عدد الميكروستات (مجموعات مختلفة من الجسيمات في حالات الطاقة المختلفة) التي يمكن أن تنتج ماكروستات معين ، و ''K<sub>B</sub>'' هو [[ثابت بولتزمان]]. يُفترض أن كل ميكروستات متساوٍ على الأرجح ، بحيث يكون احتمال أي ميكروستات معين هو ''p<sub>i</sub> = 1/W.'' عندما يتم استبدال هذه الاحتمالات في التعبير أعلاه الجيبس انتروبي (أو ما يعادل ''k<sub>B</sub>'' ضرب إنتروبيا شانون)، نتائج معادلة بولتزمان. من حيث النظرية المعلوماتية ، فإن إنتروبيا المعلومات في النظام هي كمية المعلومات «المفقودة» اللازمة لتحديد ميكروستت (microstate)، بالنظر إلى الماكروستت.

في رأي [[ادوين طومسون جاينيس|جاينس]] (1957)، يجب النظر إلى الانتروبي الحراري الديناميكي ، كما هو موضح بواسطة [[ميكانيكا إحصائية|الميكانيكا الإحصائية]]، ''كتطبيق'' لنظرية المعلومات لشانون: يتم تفسير الانتروبي الديناميكي الحراري على أنه يتناسب مع كمية معلومات شانون الإضافية اللازمة لتحديد حالة المجهر التفصيلي microscopic state للنظام، التي لا تزال غير موصوفة من خلال وصف فقط من حيث المتغيرات المجهرية للديناميكا الحرارية الكلاسيكية ، مع انتروبي ثابت التناسب ليس الا [[ثابت بولتزمان]]. تؤدي إضافة الحرارة إلى النظام إلى زيادة الإنتروبيا الديناميكية الحرارية لأنه يزيد من عدد الحالات المجهرية المحتملة للنظام التي تتوافق مع القيم القابلة للقياس لمتغيراته العيانية ، مما يجعل أي وصف كامل للحالة أطول. (انظر المادة: ''الديناميكا الحرارية القصوى الانتروبيا''). يمكن أن يقلل [[عفريت ماكسويل|شيطان ماكسويل]] (افتراضيًا) من الانتروبيا الديناميكية الحرارية للنظام باستخدام معلومات حول حالات الجزيئات الفردية (individual molecules)؛ ولكن ، كما أظهر [[رولف لانداور|لانداور]] (من عام 1961) وزملاءه في العمل ، لكي يعمل الشيطان نفسه يجب أن يزيد من الانتروبيا الديناميكية الحرارية في هذه العملية ، على الأقل من خلال كمية معلومات شانون التي يقترح الحصول عليها وتخزينها أولاً ؛ وبالتالي فإن الانتروبيا الديناميكية الحرارية الكلية لا تقل (مما يحل التناقض). يفرض [[رولف لانداور|لانداور]]<nowiki/>مبدأ لانداور حدًا أدنى على كمية الحرارة التي يجب أن يولدها الكمبيوتر لمعالجة كمية معينة من المعلومات ، على الرغم من أن أجهزة الكمبيوتر الحديثة أقل كفاءة بكثير.

=== الانتروبيا كمحتوى للمعلومات ===
يتم تعريف الانتروبيا في سياق نموذج احتمالي. تقلبات عملة عادلة مستقلة لها إنتروبيا 1 بت لكل قلبة. المصدر الذي يولد دائمًا سلسلة نصية طويلة من B يحتوي على إنتروبيا من 0، حيث أن الحرف التالي سيكون دائمًا "B".

معدل الإنتروبيا لمصدر بيانات يعني متوسط عدد [[بت|البتات]] لكل رمز اللازمة لتعمية ه. تُظهر تجارب شانون مع المتنبئين البشريين معدل معلومات يتراوح بين 0.6 و 1.3 بت لكل حرف باللغة الإنجليزية؛ <ref>{{استشهاد بويب
| مسار = http://marknelson.us/2006/08/24/the-hutter-prize/
| عنوان = The Hutter Prize
| تاريخ = 24 August 2006
| تاريخ الوصول = 2008-11-27
| الأخير = Mark Nelson
| مسار أرشيف = https://web.archive.org/web/20180301161215/http://marknelson.us/2006/08/24/the-hutter-prize/ | تاريخ أرشيف = 1 مارس 2018 }}</ref> يمكن لخوارزمية ضغط PPM أن تحقق نسبة ضغط تبلغ 1.5 بت لكل حرف في النص الإنجليزي.

من المثال السابق ، لاحظ النقاط التالية:

# مقدار الانتروبي ليس دائمًا عددًا صحيحًا من البتات.
# قد لا تنقل العديد من بتات البيانات معلومات. على سبيل المثال ، غالبًا ما تقوم هياكل البيانات بتخزين المعلومات بشكل متكرر ، أو تحتوي على أقسام متطابقة بغض النظر عن المعلومات الموجودة في هياكل البيانات.

تعريف شانون للانتروبيا ، عند تطبيقه على مصدر المعلومات ، يمكن أن يحدد الحد الأدنى لسعة القناة المطلوبة لنقل المصدر بشكل موثوق كأرقام ثنائية مشفرة (انظر التحذير أدناه بخط مائل). يمكن اشتقاق الصيغة عن طريق حساب التوقع الرياضي ''لمقدار المعلومات'' الواردة في رقم من مصدر المعلومات. ''انظر أيضًا'' نظرية شانون هارتلي .

تقيس إنتروبيا شانون المعلومات الواردة في الرسالة بدلاً من الجزء المحدد من الرسالة (أو الذي يمكن التنبؤ به). ''تشمل الأمثلة الأخيرة التكرار في بنية اللغة أو الخصائص الإحصائية المتعلقة بترددات حدوث أزواج الحروف أو الكلمات، والثلاثيات (triplets) وما إلى ذلك.'' انظر [[سلسلة ماركوف]].

=== الانتروبيا كمقياس للتنوع ===
الانتروبيا هي واحدة من عدة طرق لقياس التنوع. على وجه التحديد ، فإن إنتروبي شانون هو لوغاريتم {{تعبير رياضي|<sup>1</sup>D}} ، وهو مؤشر التنوع الحقيقي ببارامتر تساوي 1.

=== ضغط البيانات ===
يحيط الانتروبي بشكل فعال بأداء أقوى ضغط بدون خسارة ممكنة ، والذي يمكن تحقيقه نظريًا باستخدام المجموعة النموذجية أو في الممارسة العملية باستخدام [[ترميز هوفمان]] أو [[خوارزمية لامبل وزيف وويلش|Lempel – Ziv]] أو التعمية الحسابي . انظر أيضًا تعقيد كولموجوروف . من الناحية العملية ، تتضمن خوارزميات الضغط عمداً بعض التكرار الحكيم في شكل [[تحقق جمعي|اختباري]] للحماية من الأخطاء.

=== القدرة التكنولوجية في العالم على تخزين ونقل المعلومات ===
تقدر دراسة عام 2011 في ''[[ساينس|العلوم]]'' القدرة التكنولوجية العالمية على تخزين وايصال المعلومات المضغوطة بشكل مثالي المقيسة على أكثر خوارزميات الضغط فاعلية المتاحة في عام 2007، وبالتالي تقدير إنتروبيا المصادر المتاحة تقنيًا.<ref name="HilbertLopez2011">[https://science.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[ساينس]], 332(6025); free access to the article through here: martinhilbert.net/WorldInfoCapacity.html {{Webarchive|url=https://web.archive.org/web/20160107162816/http://www.sciencemag.org/content/332/6025/60 |date=7 يناير 2016}}</ref> {{صفحات مرجع|60–65}}
{| class="wikitable"
|+ جميع الأعداد مضغوطة انتروبياً في وحدات [[إكسابايت|أكسابايت]] 
! نوع المعلومات 
! 1986 
! 2007 
|-
| تخزين 
| 2.6 
| 295 
|-
| بث 
| 432 
| 1900 
|-
| الاتصالات 
| 0.281 
| 65 
|}
يقدر المؤلفون القدرة البشرية على تخزين المعلومات (مضغوطة بالكامل انتروبياً) في عام 1986 ومرة أخرى في عام 2007. يقسمون المعلومات إلى ثلاث فئات - لتخزين المعلومات على وسيط ، لتلقي المعلومات من خلال شبكات [[بث لاسلكي|البث أحادية]] الاتجاه ، أو لتبادل المعلومات من خلال شبكات [[اتصال عن بعد|الاتصالات]] ثنائية الاتجاه.<ref name="HilbertLopez2011" />

=== حدود الانتروبيا كمحتوى المعلومات ===
هناك عدد من المفاهيم المتعلقة بالأنتروبيا التي تحدد كمية محتوى المعلومات رياضياً بطريقة ما:

* '''المعلومات الذاتية''' لرسالة أو رمز فردي مأخوذ من توزيع احتمالي معين ،
* '''الانتروبيا''' لتوزيع احتمالي معين للرسائل أو الرموز ، و
* '''معدل الانتروبيا''' [[عملية تصادفية|لعملية عشوائية]].

(يمكن أيضًا تحديد «معدل المعلومات الذاتية» لتسلسل معين من الرسائل أو الرموز الناتجة عن عملية عشوائية معينة: سيكون هذا دائمًا مساويًا لمعدل الإنتروبيا في حالة العملية الثابتة .) تُستخدم كميات أخرى من المعلومات أيضًا لمقارنة أو ربط مصادر مختلفة من المعلومات.

من المهم عدم الخلط بين المفاهيم المذكورة أعلاه. غالبًا ما يكون واضحًا من السياق فقط ما هو المقصود. على سبيل المثال ، عندما يقول شخص ما أن «إنتروبيا» اللغة الإنجليزية حوالي 1 بت لكل حرف، فإنهم في الواقع يقومون بنمذجة اللغة الإنجليزية كعملية عشوائية ويتحدثون عن ''معدل'' الإنتروبيا الخاص بها. استخدم شانون نفسه المصطلح بهذه الطريقة.

إذا تم استخدام كتل كبيرة جدًا ، فقد يصبح تقدير معدل الإنتروبيا لكل حرف منخفضًا اصطناعياً لأن التوزيع الاحتمالي للتسلسل غير معروف تمامًا ؛ إنه مجرد تقدير. إذا نظر المرء إلى نص كل كتاب تم نشره على أنه تسلسل، مع كل رمز الذي هو نص كتاب كامل ، وإذا كان هناك {{تعبير رياضي|''N''}} كتب منشورة ، وتم نشر كل كتاب مرة واحدة فقط، فإن تقدير احتمال كل كتاب هو {{تعبير رياضي|1/''N''}} ، والانتروبيا ({{تعبير رياضي|−log<sub>2</sub>(1/''N'') {{=}} log<sub>2</sub>(''N'')}}) هي {{تعبير رياضي|−log<sub>2</sub>(1/''N'') {{=}} log<sub>2</sub>(''N'')}} . كرمز عملي ، يتوافق هذا مع تعيين [[النظام القياسي الدولي لترقيم الكتب|معرّف فريد]] لكل كتاب واستخدامه بدلاً من نص الكتاب كلما أراد الشخص الرجوع إلى الكتاب. هذا مفيد للغاية للتحدث عن الكتب، ولكنه ليس مفيدًا جدًا لتوصيف محتوى المعلومات لكتاب فردي، أو للغة بشكل عام: لا يمكن إعادة إنشاء الكتاب من معرّفه دون معرفة توزيع الاحتمالات ، أي ، النص الكامل لجميع الكتب. الفكرة الرئيسية هي أنه يجب مراعاة تعقيد النموذج الاحتمالي. تعقيد كولموغروف Kolmogorov هو تعميم نظري لهذه الفكرة يسمح بالنظر في محتوى المعلومات في تسلسل مستقل عن أي نموذج احتمالي معين ؛ يعتبر [[برنامج (حاسوب)|البرنامج]] الأقصر لجهاز [[آلة تورنغ]] يخرج التسلسل. إن الكود الذي يحقق معدل الانتروبيا لتسلسل لنموذج معين ، بالإضافة إلى دفتر الكود (أي النموذج الاحتمالي)، هو أحد هذه البرامج ، ولكنه قد لا يكون الأقصر.

تسلسل فيبوناتشي هو 1، 1، 2، 3، 5، 8، 13... يعامل التسلسل كرسالة وكل رقم كرمز ، هناك عدد من الرموز تقريبًا مثل عدد الأحرف في الرسالة ، مما يعطي إنتروبيا ما يقرب من {{تعبير رياضي|log<sub>2</sub>(''n'')}} . يحتوي أول 128 رمزًا لتسلسل فيبوناتشي على إنتروبيا تقريبًا 7 بتات / رمز ، ولكن يمكن التعبير عن التسلسل باستخدام صيغة [ {{تعبير رياضي|F(''n'') {{=}} F(''n''−1) + F(''n''−2)}} لـ {{تعبير رياضي|''n'' {{=}} 3, 4, 5, …}} ، {{تعبير رياضي|F(1) {{=}}1}} ، {{تعبير رياضي|F(2) {{=}} 1}} ] وهذه الصيغة لها إنتروبيا أقل بكثير وتنطبق على أي طول لتسلسل فيبوناتشي.

=== نهايات الانتروبيا في التعمية ===
في [[تحليل الشفرات|تحليل التعمية]]، غالبًا ما يتم استخدام الإنتروبيا تقريبًا كمقياس [[مبدأ الريبة|لعدم]] القدرة على التنبؤ بمفتاح التعمية، على الرغم من أن [[مبدأ الريبة|عدم اليقين]] الحقيقي لا يمكن قياسه. على سبيل المثال ، يحتوي مفتاح 128 بت الذي يتم إنشاؤه بشكل موحد وعشوائي على 128 بت من انتروبي. يستغرق أيضًا (في المتوسط) <math>2^{128-1}</math> التخمين لكسر بالقوة الغاشمة ([[بحث شامل|brute force]]). فشل الانتروبي في التقاط عدد التخمينات المطلوبة إذا لم يتم اختيار المفاتيح المحتملة بشكل موحد. بدلاً من ذلك ، يمكن استخدام مقياس يسمى ''التخمين'' لقياس الجهد المطلوب لهجوم القوة الغاشمة.

قد تنشأ مشاكل أخرى من التوزيعات غير المنتظمة المستخدمة في التعمية. على سبيل المثال ، لوحة ثنائية رقمية مكونة من 1,000,000 تستخدم [[لوحة المرة الواحدة]] فقط. إذا كانت اللوحة تحتوي على 1,000,000 بت من انتروبي ، فهي مثالية. إذا كانت [[لوحة المرة الواحدة|اللوحة]] تحتوي على 999,999 بت من الإنتروبيا ، موزعة بالتساوي (كل بتة فردية من اللوحة بها 0.999999 بت من الإنتروبيا) فقد يوفر أمانًا جيدًا. ولكن إذا كانت اللوحة تحتوي على 999,999 بت من الإنتروبيا ، حيث يتم إصلاح البت الأول و 999999 بت المتبقية بشكل عشوائي تمامًا ، فلن يتم تعمية البت الأول من نص التعمية على الإطلاق.

=== البيانات كعملية ماركوف ===
طريقة شائعة لتعريف الانتروبي لنص مبنية على نموذج ماركوف الخاص بالنص. بالنسبة لمصدر ترتيب-0 (order-0) (يتم تحديد كل حرف بشكل مستقل عن الأحرف الأخيرة)، فإن الانتروبي الثنائي هو:

: <math> \Eta_b(\mathcal{S}) = - \sum_{i=1}^n p_i \log_b p_i ,</math>

حيث {{تعبير رياضي|''p''<sub>''i''</sub>}} هو احتمال {{تعبير رياضي|''i''}} . بالنسبة لمصدر ماركوف من الترتيب-الأول (first-order)(مصدر يعتمد فيه احتمال اختيار الحرف فقط على الحرف السابق مباشرة)، فإن '''معدل الإنتروبيا''' هو:

: <math>\Eta(\mathcal{S}) = -\sum_i p_i \sum_j p_i(j) \sum_k p_{i,j}(k)\ \log \ p_{i,j}(k) .</math>

حيث {{تعبير رياضي|''i''}} حالة (بعض الأحرف السابقة) و <math>p_i(j)</math> هو احتمال {{تعبير رياضي|''j''}} بالنظر إلى الحرف {{تعبير رياضي|''i''}} السابق.

بالنسبة لمصدر ماركوف من الترتيب الثاني (second order)، فإن معدل الإنتروبيا هو

<math>\Eta(\mathcal{S}) = -\sum_i p_i \sum_j p_i(j) \sum_k p_{i,j}(k)\ \log \  p_{i,j}(k) .</math>

=== انتروبي {{تعبير رياضي|''b''}}-ary ===
بشكل عام '''الانتروبيا {{تعبير رياضي|''b''}}''' لمصدر <math>\mathcal{S}</math> {{تعبير رياضي|{{=}} (''S'', ''P'')}} مع مصدر لأبجدية {{تعبير رياضي|''S'' {{=}} {''a''<sub>1</sub>, ..., ''a''<sub>''n''</sub>}} و  [[توزيع احتمال|التوزيع الاحتمالي المتقطع]]  {{تعبير رياضي|''P'' {{=}} {''p''<sub>1</sub>, ..., ''p''<sub>''n''</sub>}} حيث {{تعبير رياضي|''p''<sub>''i''</sub>}} هو احتمال {{تعبير رياضي|''a''<sub>''i''</sub>}} (ويقول {{تعبير رياضي|''p''<sub>''i''</sub> {{=}} ''p''(''a''<sub>''i''</sub>))}} يعرف بما يلي:

: <math> \Eta_b(\mathcal{S}) = - \sum_{i=1}^n p_i \log_b p_i ,</math>

ملاحظة: {{تعبير رياضي|''b''}} في "انتروبي {{تعبير رياضي|''b''}}-ary " هو عدد الرموز المختلفة ''للأبجدية المثالية'' المستخدمة كمقياس قياسي لقياس الحروف الأبجدية المصدر. في نظرية المعلومات ، هناك رمزان [[شرط ضروري وشرط كاف|ضروريان وكافان]] لأبجدية لترمز المعلومات. لذلك ، فإن الوضع الافتراضي هو اعتبار {{تعبير رياضي|''b'' {{=}} 2}} («إنتروبيا ثنائية»). وبالتالي ، فإن إنتروبيا الأبجدية المصدر ، مع توزيع الاحتمال التجريبي المعطى لها، هو رقم يساوي عدد (ربما كسري) لرموز «الأبجدية المثالية» ، مع توزيع احتمالي مثالي ، ضروري للترميز لكل رمز من رموز الأبجدية المصدر. لاحظ أيضًا: «التوزيع الاحتمالي الأمثل» هنا يعني [[توزيع منتظم متقطع|توزيعًا موحدًا]] : الأبجدية المصدر برموز {{تعبير رياضي|''n''}} لها أعلى إنتروبي ممكن (لأبجدية برموز {{تعبير رياضي|''n''}} ) عندما يكون التوزيع الاحتمالي للأبجدية موحدًا. وتبين أن هذا الانتروبي الأمثل هو {{تعبير رياضي|log<sub>''b''</sub>(''n'')}} .

== الكفاءة (الانتروبيا المقيسة) ==
الأبجدية المصدر ذات التوزيع غير الموحد سيكون لها إنتروبيا أقل مما لو كانت هذه الرموز ذات توزيع منتظم (أي «الأبجدية المحسنة»). يمكن التعبير عن هذا النقص في الإنتروبيا كنسبة تسمى الكفاءة    :

<math>\eta(X) = \frac{H}{H_{max}} = -\sum_{i=1}^n \frac{p(x_i) \log_b (p(x_i))}{\log_b (n)}
</math>

بتطبيق الخصائص الأساسية للوغاريتم ، يمكن التعبير عن هذه الكمية أيضًا على النحو التالي:

:

<math>\eta(X) = -\sum_{i=1}^n \frac{p(x_i) \log_b (p(x_i))}{\log_b (n)} = \sum_{i=1}^n \frac{\log_b(p(x_i)^{-p(x_i)})}{\log_b(n)} = 
\sum_{i=1}^n \log_n(p(x_i)^{-p(x_i)}) =  
\log_n (\prod_{i=1}^n p(x_i)^{-p(x_i)})
</math>

للكفاءة فائدة في تحديد الاستخدام الفعال [[قناة اتصال|لقناة اتصال]] . يشار إلى هذه الصيغة أيضًا باسم الإنتروبيا المقيسة ، حيث يتم تقسيم الإنتروبيا على أقصى إنتروبيا <math>{\log_b (n)}</math> . علاوة على ذلك ، فإن الكفاءة غير مبالية في اختيار الاساس (الإيجابي) {{تعبير رياضي|''b''}} ، كما يتضح من عدم الحساسية في اللوغاريتم النهائي أعلاه.

== تمييز ==
تتميز إنتروبيا شانون بعدد قليل من المعايير المذكورة أدناه. أي تعريف للانتروبيا يستوفي هذه الافتراضات له الشكل

: <math>D_{\mathrm{KL}}(p \| m ) = \int \log (f(x)) p(dx) = \int f(x)\log (f(x)) m(dx) .</math><math>-K\sum_{i=1}^np_i\log (p_i)</math>

حيث {{تعبير رياضي|''K''}} هو ثابت مطابق لاختيار وحدات القياس.

في ما يلي ، {{تعبير رياضي|''p''<sub>''i''</sub> {{=}} Pr(''X'' {{=}} ''x''<sub>''i''</sub>)}} و {{تعبير رياضي|Η<sub>''n''</sub>(''p''<sub>1</sub>, …, ''p''<sub>''n''</sub>) {{=}} Η(''X'')}} .

=== استمرارية ===
يجب أن يكون المقياس [[دالة مستمرة|متواصلاً]] ، بحيث لا يؤدي تغيير قيم الاحتمالات بمقدار صغير جدًا إلا إلى تغيير الانتروبي بمقدار صغير.

=== تناظر ===
يجب ألا يتغير القياس إذا تم إعادة ترتيب النتائج {{تعبير رياضي|''x''<sub>''i''</sub>}} .

: <math>\Eta_n\left(p_1, p_2, \ldots \right) = \Eta_n\left(p_2, p_1, \ldots \right)</math> إلخ

=== الحد الأقصى ===
يجب أن يكون المقياس بأقصى حد إذا كانت جميع النتائج محتملة على قدم المساواة (يكون عدم اليقين أعلى عندما تكون جميع الأحداث المحتملة قابلة للتوازن).

<math> \Eta_n(p_1,\ldots,p_n) \le \Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \log_b (n).</math>

بالنسبة للأحداث المتوازنة ، يجب أن يزيد الإنتروبيا مع عدد النتائج.

:: <math>\Eta_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg) = \log_b(n) < \log_b (n+1) = \Eta_{n+1}\bigg(\underbrace{\frac{1}{n+1}, \ldots, \frac{1}{n+1}}_{n+1}\bigg).</math><math>\Eta_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg) = \log_b(n) < \log_b (n+1) = \Eta_{n+1}\bigg(\underbrace{\frac{1}{n+1}, \ldots, \frac{1}{n+1}}_{n+1}\bigg).</math>

للمتغيرات العشوائية المستمرة ، فإن  الغاوسي (Gaussian) متعدد المتغيرات هو التوزيع مع أقصى إنتروبيا تفاضلية .

=== الإضافة ===
يجب أن تكون كمية الإنتروبيا مستقلة عن كيفية اعتبار العملية مقسمة إلى أجزاء.

تميز هذه العلاقة الوظيفية الأخيرة إنتروبيا النظام مع الأنظمة الفرعية. تتطلب أن يتم حساب إنتروبيا النظام من إنتروبيا أنظمته الفرعية إذا كانت التفاعلات بين الأنظمة الفرعية معروفة.

لتكن فرقة من عناصر {{تعبير رياضي|''n''}} موزعة بشكل متجانس التي تُقسم إلى مربعات {{تعبير رياضي|''k''}} (النظم الفرعية) مع {{تعبير رياضي|''b''<sub>1</sub>, ..., ''b''<sub>''k''</sub>}} لكل عناصر {{تعبير رياضي|''b''<sub>1</sub>, ..., ''b''<sub>''k''</sub>}} ، يجب أن يكون الانتروبي من الفرقة بأكملها مساويا لمجموع الانتروبي من نظام الصناديق والانتروبيا الفردية للمربعات ، كل منها مرجح باحتمال وجوده في هذا الصندوق بالذات.

حيث للأعداد الصحيحة الموجبة {{تعبير رياضي|''b''<sub>''i''</sub>}} حيث {{تعبير رياضي|''b''<sub>1</sub> + … + ''b''<sub>''k''</sub> {{=}} ''n''}}

: <math>\Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \Eta_k\left(\frac{b_1}{n}, \ldots, \frac{b_k}{n}\right) + \sum_{i=1}^k \frac{b_i}{n} \, \Eta_{b_i}\left(\frac{1}{b_i}, \ldots, \frac{1}{b_i}\right).</math>

اختيار {{تعبير رياضي|''k'' {{=}} ''n''}} ، {{تعبير رياضي|''b''<sub>1</sub> {{=}} … {{=}} ''b''<sub>''n''</sub> {{=}} 1}} يعني أن إنتروبيا نتيجة معينة صفر: {{تعبير رياضي|Η<sub>1</sub>(1) {{=}} 0}} . هذا يعني أن كفاءة أبجدية المصدر برموز {{تعبير رياضي|''n''}} يمكن تعريفها ببساطة على أنها تساوي إنتروبيا {{تعبير رياضي|''n''}} -ary. انظر أيضًا [[فائضية (نظرية المعلومات)|الفائض (نظرية المعلومات)]] .

== خصائص أخرى ==
تفي إنتروبيا شانون بالخصائص التالية ، بالنسبة لبعضها من المفيد تفسير الإنتروبيا على أنها كمية المعلومات المستفاد منها (أوالتخلص من الريبة) من خلال الكشف عن قيمة المتغير العشوائي {{تعبير رياضي|''X''}} :

* لا تساهم إضافة أو إزالة حدث باحتمال الصفر في الإنتروبيا:

:: <math> \Eta(X,Y)=\Eta(X|Y)+\Eta(Y)=\Eta(Y|X)+\Eta(X).</math>

* انتروبيا متغير عشوائي متقطع هو رقم غير سالب:

:: <math>\Eta(X) \ge 0</math>.<ref name="cover1991">{{استشهاد بكتاب|مؤلف1=Thomas M. Cover|مؤلف2=Joy A. Thomas|عنوان=Elements of Information Theory|مسار=https://archive.org/details/elementsofinform0000cove_m4w2|ناشر=Wiley|مكان=Hoboken, New Jersey|ISBN=978-0-471-24195-9|تاريخ=2006-07-18}}</ref> {{صفحات مرجع|15}}

* يمكن تأكيده باستخدام [[متباينة ينسن|متراجحة ينسن]] كالتالي

:: <math>\Eta(X) = \operatorname{E}\left[\log_b \left( \frac{1}{p(X)}\right) \right] \leq \log_b \left( \operatorname{E}\left[ \frac{1}{p(X)} \right] \right) = \log_b(n)</math> .<ref name="cover1991" /> {{صفحات مرجع|29}} 
: الانتروبيا الأقصى للوغاريتم {{تعبير رياضي|log<sub>''b''</sub>(''n'')}} يتم تحقيقه بشكل فعال من خلال الأبجدية المصدر ذي التوزيع الاحتمالي الموحد: الريبة هي الحد الأقصى عندما تكون جميع الأحداث المحتملة قابلة للتوازن.

* الانتروبيا أو كمية المعلومات التي كشف عنها عن طريق تقييم {{تعبير رياضي|(''X'',''Y'')}} (أي تقييم {{تعبير رياضي|''X''}} و {{تعبير رياضي|''Y''}} تزامنياً) تساوي المعلومات التي تم الكشف عنها من خلال إجراء تجربتين متتاليتين: أولاً تقييم قيمة {{تعبير رياضي|''Y''}} ، ثم الكشف عن قيمة {{تعبير رياضي|''X''}} بالنظر إلى أنك تعرف قيمة {{تعبير رياضي|''Y''}} . يمكن كتابة هذا كـ

:: <math> \Eta(X,Y)=\Eta(X|Y)+\Eta(Y)=\Eta(Y|X)+\Eta(X).</math> 
: وبالتالي  ، يمكن أن ينخفض انتروبيا المتغير فقط عندما يتم تمرير الأخير من خلال دالة.

* إذا <math>Y=f(X)</math> أين <math>f</math> هي وظيفة ، إذن <math>H(f(X)|X) = 0</math> . تطبيق الصيغة السابقة على <math>H(X,f(X))</math> عائدات

:: <math> \Eta(X)+\Eta(f(X)|X)=\Eta(f(X))+\Eta(X|f(X)),</math><math> \Eta(X)+\Eta(f(X)|X)=\Eta(f(X))+\Eta(X|f(X)),</math>

<math>H(f(X)) \le H(X)</math>وبالتالي  ، يمكن أن ينخفض انتروبيا المتغير فقط عندما يتم تمرير الأخير من خلال دالة.

* إذا كان {{تعبير رياضي|''X''}} و {{تعبير رياضي|''Y''}} متغيرين عشوائيين مستقلين ، فإن معرفة قيمة {{تعبير رياضي|''Y''}} لا تؤثر على معرفتنا بقيمة  (نظرًا لأن الاثنين لا يؤثران على بعضهما البعض بالاستقلالية):

:: <math> \Eta(X|Y)=\Eta(X).</math><math> \Eta(X|Y)=\Eta(X).</math>

* لا يعد إنتروبيا حدثين متزامنين أكثر من مجموع إنتروبيا كل حدث فردي ، وهي متساوية إذا كان الحدثان مستقلين. وبشكل أكثر تحديدًا ، إذا كان {{تعبير رياضي|''X''}} و {{تعبير رياضي|''Y''}} متغيرين عشوائيين في نفس مساحة الاحتمال ، و {{تعبير رياضي|(''X'', ''Y'')}} يشيران إلى منتجهما الديكارتي ،

:: <math> \Eta(X,Y)\leq \Eta(X)+\Eta(Y).</math>

* الانتروبي <math>\Eta(p)</math> [[دالة مقعرة|مقعر]] في دالة الكتلة الاحتمالية <math>p</math> ، بمعنى آخر

:: <math>\Eta(\lambda p_1 + (1-\lambda) p_2) \ge \lambda \Eta(p_1) + (1-\lambda) \Eta(p_2)</math> 
: لجميع دوال (وظائف) الكتلة الاحتمالية <math>p_1,p_2</math> و <math> 0 \le \lambda \le 1</math> .<ref name="cover1991" /> {{صفحات مرجع|32}} 
:* وفقًا لذلك ، تكون وظيفة الإنتروبيا السالبة (سلبي) محدبة ، ويكون اقترانها المحدب هو تعبير جمع لوغرايتم LogSumExp .

== توسيع الإنتروبيا المتقطعة إلى الحالة المستمرة ==

=== الانتروبيا التفاضلية ===
يقتصر انتروبيا شانون على متغيرات عشوائية تأخذ قيمًا متقطعة. الصيغة المقابلة لمتغير عشوائي مستمر مع [[دالة الكثافة الاحتمالية|دالة كثافة الاحتمال]] {{تعبير رياضي|''f''(''x'')}} مع دعم نهائي أو لانهائي <math>\mathbb X</math> على الخط الحقيقي (real line) يتم تعريفه عن طريق القياس ، باستخدام الشكل أعلاه من الانتروبي كما هو متوقع:

: <math>h[f] = \operatorname{E}[-\ln (f(x))] = -\int_\mathbb X f(x) \ln (f(x))\, dx.</math>

يشار إلى هذه الصيغة عادةً باسم '''الإنتروبيا المستمرة''' أو الانتروبي التفاضلي . و السوابق (precursor) منالانتروبي مستمرة  {{تعبير رياضي|''h''[''f'']}}  هو التعبير عن الدالة (وظيفية) {{تعبير رياضي|''Η''}} في [[مبرهنة إتش|نظرية-H]] ل<nowiki/>[[لودفيغ بولتزمان|بولتزمان]] .

على الرغم من أن التشابه بين كلتا الدالتين (الوظيفتين) إيحائي (suggestive)، إلا أنه يجب تحديد السؤال التالي: هل الإنتروبيا التفاضلية امتداد صحيح للانتروبيا المتقطعة لشانون؟ تفتقر الإنتروبيا التفاضلية إلى عدد من الخصائص التي تمتلكها إنتروبون شانون المتقطعة - يمكن أن تكون سلبية &nbsp; وقد اقترحت تصحيحات، لا سيما الحد من كثافة النقاط المنفصلة .

للإجابة على هذا السؤال ،التوصيل بين الدالتين (الوظيفتين) :

من أجل الحصول على مقياس نهائي (محدود) بشكل عام حيث يصل [[مدرج تكراري|حجم الحاوية]] ([[:en:Bin size|bin size]]) إلى الصفر. في الحالة المتقطعة، يكون حجم الحاوية هو العرض (الضمني) لكل من صناديق {{تعبير رياضي|''n''}} (النهائية أو اللانهائية) التي يُشار إلى احتمالاتها بواسطة {{تعبير رياضي|''p''<sub>''n''</sub>}} . نظرًا لتعميم المجال المستمر ، يجب أن يكون العرض صريحًا.

للقيام بذلك ، ابدأ بدالة مستمرة {{تعبير رياضي|''f''}} مقسمة إلى حاويات الحجم <math>\Delta</math> . من خلال نظرية القيمة المتوسطة ، توجد قيمة {{تعبير رياضي|''x''<sub>''i''</sub>}} في كل صندوق بحيث

: <math>f(x_i) \Delta = \int_{i\Delta}^{(i+1)\Delta} f(x)\, dx</math>

تكامل الدالة {{تعبير رياضي|''f''}} يمكن تقريبه (بالمعنى الريماني) بواسطة

: <math>\int_{-\infty}^{\infty} f(x)\, dx = \lim_{\Delta \to 0} \sum_{i = -\infty}^{\infty} f(x_i) \Delta</math>

حيث النهاية هذه و «حجم الحاوية إلى الصفر» متساويين.

و سنستدل بـ

: <math>\Eta^{\Delta} := - \sum_{i=-\infty}^{\infty} f(x_i) \Delta \log \left( f(x_i) \Delta \right)</math>

وتوسيع اللوغاريتم ، لدينا

: <math>\Eta^{\Delta} = - \sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (f(x_i)) -\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (\Delta).</math>

كما لدينا Δ → 0 ،

: <math>\begin{align}
\sum_{i=-\infty}^{\infty} f(x_i) \Delta &\to \int_{-\infty}^{\infty} f(x)\, dx = 1 \\
\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (f(x_i)) &\to \int_{-\infty}^{\infty} f(x) \log f(x)\, dx.
\end{align}</math>

ملحوظة؛ {{تعبير رياضي|log(Δ) → −∞}} كـ {{تعبير رياضي|Δ → 0}} ، يتطلب تعريفًا خاصًا للانتروبيا التفاضلية أو المستمرة:

: <math>h[f] = \lim_{\Delta \to 0} \left(\Eta^{\Delta} + \log \Delta\right) = -\int_{-\infty}^{\infty} f(x) \log f(x)\,dx,</math>

والتي ، كما قيل من قبل ، يشار إليها باسم '''الانتروبي التفاضلي''' . هذا يعني أن الإنتروبيا التفاضلية ''ليست'' نهاية (حد) لإنتروبيا شانون لـ {{تعبير رياضي|''n'' → ∞}} . بدلاً من ذلك ، فإنه يختلف عن نهاية إنتروبيا شانون من خلال إزاحة لانهائية (an infinite offset) (انظر أيضًا المقالة حول بُعد المعلومات )

=== الحد من كثافة النقاط المنفصلة ===
أتضح كنتيجة أنه، على عكس إنتروبيا شانون ، فإن الانتروبيا التفاضلية ''ليست'' بشكل عام مقياسًا جيدًا للريبة أو المعلومات. على سبيل المثال ، يمكن أن تكون الإنتروبيا التفاضلية سلبية ؛ كما أنها ليست ثابتة تحت التحولات المنسقة المستمرة ( continuous co-ordinate transformations). يمكن توضيح هذه المشكلة عن طريق تغيير الوحدات عندما تكون ''x'' متغيرة ذات أبعاد. ''و''ثم ''f(x)''  ''تأخذ الواحدات1/x'' . يجب أن تكون قيمة اللوغاريتم بلا أبعاد ، وإلا فهي غير مناسبة ، بحيث تكون الإنتروبيا التفاضلية كما هو موضح أعلاه غير مناسبة. إذا كانت ''Δ'' هي قيمة «معيارية» لـ ''x'' (أي «حجم الحاوية») وبالتالي لديها نفس الوحدات ، عندئذ يمكن كتابة الانتروبي التفاضلي المعدل (modified differential entropy) في الشكل الصحيح على النحو التالي:

: <math>
H=\int_{-\infty}^\infty f(x) \log(f(x)\,\Delta)\,dx
</math>

وستكون النتيجة هي نفسها لأي اختيار للوحدات لـ ''x'' . في الواقع ، حد الانتروبيا المتقطعة كما <math> N \rightarrow \infty </math> سيشمل أيضا مصطلح <math> \log(N)</math> ، والتي ستكون بشكل عام لا نهائية. هذا أمر متوقع ، المتغيرات المستمرة عادة ما يكون لها إنتروبيا لانهائية عندما يتم تقسيمها. الكثافة المحدودة للنقاط المتقطعة هي في الواقع مقياس لمدى سهولة وصف التوزيع من التوزيع الموحد على مخطط القياس.

=== الانتروبيا النسبية ===
مقياس آخر مفيد للإنتروبيا يعمل بشكل جيد على قدم المساواة في الحالة المتقطعة والمستمرة هو '''الانتروبيا النسبية''' للتوزيع. يتم تعريفه على أنه [[تباعد كولباك - ليبلير|انحراف كلباك-لايبا Kullback-Leibler]] من التوزيع إلى مقياس مرجعي {{تعبير رياضي|''m''}} كالتالي. نفترض أن {{تعبير رياضي|''p''}} توزيع الاحتمال المستمر على الإطلاق ( [[:en:Absolutely continuous|absolutely continuous]]) فيما يتعلق مقياس {{تعبير رياضي|''m''}} أي هو من شكل {{تعبير رياضي|''p''(''dx'') {{=}} ''f''(''x'')''m''(''dx'')}} لبعض الدوال غير السلبية القابلة للتكامل {{تعبير رياضي|''m''}} مرة  ({{تعبير رياضي|''m''}} -integrable) دالة {{تعبير رياضي|''f''}} مع القابلة للتكامل {{تعبير رياضي|''m''}} مرة ({{تعبير رياضي|''m''}}-integral) 1، ثم يمكن تعريف الإنتروبيا النسبية على أنها

: <math> P_{i}(A)=\{(x_{1}, \ldots, x_{i-1}, x_{i+1}, \ldots, x_{d}) : (x_{1}, \ldots, x_{d})\in A\}.</math>

في هذا الشكل ، يعمم الإنتروبيا النسبية (حتى التغيير في الإشارة) كلاً من الإنتروبيا المتقطعة، حيث يكون المقياس {{تعبير رياضي|''m''}} هو مقياس العد ، والانتروبيا التفاضلية ، حيث المقياس {{تعبير رياضي|''m''}} هو [[مقياس لوبيغ|مقياس ليبيج Lebesgue]] . إذا كان المقياس {{تعبير رياضي|''m''}} هو نفسه توزيع احتمالي ، فإن الإنتروبيا النسبية غير سالبة ، وصفر إذا كان {{تعبير رياضي|''p'' {{=}} ''m''}} كمقاييس. يتم تعريفه لأي مساحة قياس، وبالتالي تنسيق مستقل وثابت تحت إعادة تنسيق المعلمات (reparameterizations) إذا أخذ المرء في الاعتبار بشكل صحيح تحويل المقياس {{تعبير رياضي|''m''}} . الإنتروبيا النسبية ، والانتروبيا الضمنية والانتروبيا التفاضلية ، تعتمد على مقياس «المرجع» {{تعبير رياضي|''m''}} .

== استخدم في التوافيق ==
أصبحت الانتروبيا كمية مفيدة في [[تركيبات|التوافيق]].

=== متراجحة- لوميس ويتني ===
مثال بسيط على ذلك هو دليل بديل على متراجحة لوميس ويتني  : لكل مجموعة فرعية {{تعبير رياضي|''A'' ⊆ '''Z'''<sup>''d''</sup>}} ، لدينا

: <math> |A|^{d-1}\leq \prod_{i=1}^{d} |P_{i}(A)|</math>

حيث {{تعبير رياضي|''P''<sub>''i''</sub>}} هو [[إسقاط (جبر خطي)|الإسقاط المتعامد]] في الإحداثية {{تعبير رياضي|''i''}} :

: <math> \Eta[(X_{1}, \ldots ,X_{d})]\leq \frac{1}{r}\sum_{i=1}^{n}\Eta[(X_{j})_{j\in S_{i}}]</math>

يتبع الدليل كنتيجة طبيعية بسيطة من عدم مساواة شيرر : إذا {{تعبير رياضي|''X''<sub>1</sub>, …, ''X''<sub>''d''</sub>}} متغيرات عشوائية {{تعبير رياضي|''S''<sub>1</sub>, …, ''S''<sub>''n''</sub>}} هي مجموعات فرعية من {{تعبير رياضي|{1, ..., ''d''}} بحيث كل [[عدد صحيح]] بين 1 و تقع {{تعبير رياضي|''d''}} في بالضبط {{تعبير رياضي|''r''}} من هذه المجموعات الفرعية ، ثم

حيث <math> (X_{j})_{j\in S_{i}}</math> هو المنتج الديكارتي للمتغيرات العشوائية {{تعبير رياضي|''X''<sub>''j''</sub>}} مع الفهارس {{تعبير رياضي|''j''}} في {{تعبير رياضي|''S''<sub>''i''</sub>}} (لذا فإن أبعاد هذا المتجه يساوي حجم {{تعبير رياضي|''S''<sub>''i''</sub>}} ).

نحن نرسم كيف يتبع لوميس ويتني من هذا: في الواقع ، لتكن{{تعبير رياضي|''X''}} يكون متغيرًا عشوائيًا موزعًا بشكل موحد مع قيم في {{تعبير رياضي|''A''}} بحيث تحدث كل نقطة في {{تعبير رياضي|''A''}} باحتمال متساوٍ. ثم (من خلال خصائص الانتروبيا المذكورة أعلاه)  {{تعبير رياضي|Η(''X'') {{=}} log{{قيمة مطلقة|''A''}}}}، حيث {{تعبير رياضي|{{قيمة مطلقة|''A''}}}} يدل على طويلة {{تعبير رياضي|''A''}} (عدد العناصر في المجموعة {{تعبير رياضي|''A''}}). لتكن {{تعبير رياضي|''S''<sub>''i''</sub> {{=}} {1, 2, ..., ''i''−1, ''i''+1, ..., ''d''}} }. مجال لـ <math>(X_{j})_{j\in S_{i}}</math> محتوى في {{تعبير رياضي|''P''<sub>''i''</sub>(''A'')}} وبالتالي <math> \Eta[(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|</math> . استخدم هذا الآن لتقييد الجانب الأيمن من متراجحة شيرر ( Shearer's inequality) و أرفع للأس الطرف المقابل للنتيجة التي تحصل عليها.

=== التقريب لمعامل ذي الحدين (binomial coefficient) ===
للأعداد الصحيحة {{تعبير رياضي|0 < ''k'' < ''n''}} لتكن {{تعبير رياضي|''q'' {{=}} ''k''/''n''}} .أي

: <math>\frac{2^{n\Eta(q)}}{n+1} \leq \tbinom nk \leq 2^{n\Eta(q)},</math>

حيث

: <math>\Eta(q) = -q \log_2(q) - (1-q) \log_2(1-q).</math> <ref>Aoki, New Approaches to Macroeconomic Modeling.</ref> {{صفحات مرجع|43}}

هنا برهان تخطيطي. لاحظ أن <math>\tbinom nk q^{qn}(1-q)^{n-nq}</math> هو مصطلح واحد للتعبير

: <math>\sum_{i=0}^n \tbinom ni q^i(1-q)^{n-i} = (q + (1-q))^n = 1.</math>

إعادة الترتيب يعطي الحد الأعلى (upper bound). بالنسبة إلى الحد السفلي ، يُظهر أولاً ، باستخدام بعض الجبر ، الذي هو أكبر مصطلح في الجمع. ولكن بعد ذلك ،

: <math>\binom nk q^{qn}(1-q)^{n-nq} \geq \frac{1}{n+1}</math>

نظرًا لوجود مصطلحات {{تعبير رياضي|''n'' + 1}} في التجميع. إعادة الترتيب يعطي الحد الأدنى.

التفسير الدقيق لهذا هو أن عدد السلاسل الثنائية للطول {{تعبير رياضي|''n''}} مع {{تعبير رياضي|''k''}} العديد من 1 هو تقريبًا <math>2^{n\Eta(k/n)}</math>.<ref>Probability and Computing, M. Mitzenmacher and E. Upfal, Cambridge University Press</ref>

== انظر أيضًا ==
{{Div col}}
*[[اعتلاج شرطي|إنتروبيا شرطية]]
*[[إنتروبيا وسهم الزمن]]
*[[ترميز بالاعتلاج|ترميز إنتروبي]] – a coding scheme that assigns codes to symbols so as to match code lengths with the probabilities of the symbols.
*[[تاريخ الإنتروبيا]]
*[[هندسة معلومية]]
*[[اعتلاج مشترك|إنتروبي مشترك]] – is the measure how much entropy is contained in a joint system of two random variables.
*[[Kolmogorov–Sinai entropy]] in [[نظام تحريكي]]s
*[[معلومات متبادلة]]
*[[إرباك|الإرباك]]
*[[Qualitative variation]] – other measures of [[تشتت (إحصاء)|تشتت]] for [[مستويات القياس]]
*[[عشوائية]]
{{Div col end}}

== المراجع ==
{{مراجع}}This article incorporates material from Shannon's entropy on PlanetMath, which is licensed under the Creative Commons Attribution/Share-Alike License.

== قراءة متعمقة ==

=== كتب عن نظرية المعلومات ===

* Arndt، C. (2004) ، ''مقاييس المعلومات: المعلومات ووصفها في العلوم والهندسة'' ، Springer ، {{ردمك|978-3-540-40855-0}}    
* [[توماس كوفر|Cover ، TM]] ، Thomas ، JA (2006) ، ''عناصر نظرية المعلومات'' ، الطبعة الثانية. وايلي-إنترسينس. {{ردمك|0-471-24195-4}} [[النظام القياسي الدولي لترقيم الكتب|رقم ISBN]] &nbsp; [[خاص:BookSources/0-471-24195-4|0-471-24195-4]] . 
* Gray ، RM (2011) ، ''نظرية الانتروبيا والمعلومات'' ، Springer. 
* [[ديفيد جيه سي ماكي|ماكاي ، ديفيد جي سي]] . ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html نظرية المعلومات والاستدلال وخوارزميات التعلم]'' كامبريدج: [[مطبعة جامعة كامبريدج]] ، 2003. {{ردمك|0-521-64298-1}} [[النظام القياسي الدولي لترقيم الكتب|رقم ISBN]] &nbsp; [[خاص:BookSources/0-521-64298-1|0-521-64298-1]] 
* {{استشهاد بكتاب|مؤلف1=Martin, Nathaniel F.G. & England, James W.|عنوان=Mathematical Theory of Entropy|ناشر=Cambridge University Press|سنة=2011|ISBN=978-0-521-17738-2|مسار= https://books.google.com/books?id=_77lvx7y8joC|مسار أرشيف= https://web.archive.org/web/20200803101303/https://books.google.com/books?id=_77lvx7y8joC|تاريخ أرشيف=2020-08-03}} <bdi> {{استشهاد بكتاب|مؤلف1=Martin, Nathaniel F.G. & England, James W.|عنوان=Mathematical Theory of Entropy|ناشر=Cambridge University Press|سنة=2011|ISBN=978-0-521-17738-2|مسار= https://books.google.com/books?id=_77lvx7y8joC|مسار أرشيف= https://web.archive.org/web/20200803101303/https://books.google.com/books?id=_77lvx7y8joC|تاريخ أرشيف=2020-08-03}} </bdi> {{استشهاد بكتاب|مؤلف1=Martin, Nathaniel F.G. & England, James W.|عنوان=Mathematical Theory of Entropy|ناشر=Cambridge University Press|سنة=2011|ISBN=978-0-521-17738-2|مسار= https://books.google.com/books?id=_77lvx7y8joC|مسار أرشيف= https://web.archive.org/web/20200803101303/https://books.google.com/books?id=_77lvx7y8joC|تاريخ أرشيف=2020-08-03}}  
* [[كلود شانون|شانون ، CE]] ، [[وارن ويفر|Weaver ، W.]] (1949) ''النظرية الرياضية للاتصال'' ، مطبعة جامعة إلينوي. {{ردمك|0-252-72548-4}} [[النظام القياسي الدولي لترقيم الكتب|رقم ISBN]] &nbsp; [[خاص:BookSources/0-252-72548-4|0-252-72548-4]] 
* Stone ، JV (2014) ، الفصل الأول من [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''نظرية المعلومات: مقدمة تعليمية''] ، جامعة شيفيلد ، إنجلترا. {{ردمك|978-0956372857}} [[النظام القياسي الدولي لترقيم الكتب|رقم ISBN]] &nbsp; [[خاص:BookSources/978-0956372857|978-0956372857]] .

== روابط خارجية ==

* {{Springer|title=Entropy|id=p/e035740}} <bdi> {{Springer|title=Entropy|id=p/e035740}} </bdi>
* [http://pespmc1.vub.ac.be/ENTRINFO.html مقدمة في الإنتروبيا ومعلومات] عن Principia Cybernetica Web 
* ''[http://www.mdpi.com/journal/entropy الانتروبيا]'' مجلة متعددة التخصصات حول جميع جوانب مفهوم انتروبي. الوصول المفتوح. 
* [https://web.archive.org/web/20110515195708/http://www.rheingold.com/texts/tft/6.html وصف انتروبي من المعلومات من «أدوات للفكر» هوارد راينجولد] 
* [http://math.ucsd.edu/~crypto/java/ENTROPY/ بريمج جافا يمثل تجربة شانون لحساب الانتروبيا من اللغة الإنجليزية] 
* [https://web.archive.org/web/20190207130355/https://www.autonlab.org/tutorials/infogain.html شرائح على كسب المعلومات و إنتروبيا] 
* [[wikibooks:An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science|''دليل'']] بديهي [[wikibooks:An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science|''لمفهوم الانتروبيا الناشئة في قطاعات مختلفة من العلوم'']] - كتاب ويكي على تفسير مفهوم انتروبي. 
* [//researchspace.auckland.ac.nz/handle/2292/3427 اكتشاف أحداث الشبكة باستخدام تدابير الانتروبيا] ، د. رايموند إيمان ، جامعة أوكلاند ، PDF ؛ 5993 &nbsp; كيلو بايت - أطروحة دكتوراه توضح كيفية استخدام تدابير الانتروبيا في الكشف عن الشذوذ في الشبكة. 
* [http://rosettacode.org/wiki/Entropy "Entropy"] في Rosetta Code - مراجعة تطبيقات إنتروبي شانون بلغات برمجة مختلفة. 
* [http://tuvalu.santafe.edu/~simon/it.pdf «نظرية المعلومات للأشخاص الأذكياء»] . مقدمة قصيرة لبديهيات نظرية المعلومات ، الإنتروبيا ، المعلومات المتبادلة ، اختلاف كولباك - ليبلر ، ومسافة جنسن - شانون. 
* [http://www.shannonentropy.netmark.pl أداة على الإنترنت لحساب الإنتروبيا (نص عادي)] 
* [//servertest.online/entropy أداة على الإنترنت لحساب الإنتروبيا (ثنائي)] 
{{ضبط استنادي}}
{{روابط شقيقة}}
{{طرائق الضغط}}
{{شريط بوابات|اتصال عن بعد|الفيزياء|رياضيات|علم الحاسوب}}

[[تصنيف:إنتروبيا ومعلومات]]
[[تصنيف:ضغط بيانات]]
[[تصنيف:نظرية الأنظمة المعقدة]]
[[تصنيف:نظرية المعلومات]]