عرض مصدر نظرية المعلومات

{{بطاقة تخصص}}
{{نظرية المعلومات}}
'''نظرية المعلومات<ref>{{استشهاد بويكي بيانات|Q111421033|صفحة=77}}</ref>''' {{إنج|''Information theory''}} هي أحد تخصصات وفروع [[رياضيات تطبيقية|الرياضيات التطبيقية]] الذي يتضمن [[كمية]] Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو [[تخزين البيانات]] ضمن [[وسط (توضيح)|وسط]] ما أو نقلها عبر [[قناة (توضيح)|قناة]] اتصال ما بأكبر قدر ممكن. قياس المعلومات يعرف عادة [[اعتلاج (نظرية المعلومات)|بإنتروبية المعلومات]] وهو عبارة عن العدد الوسطي من البتات (متوسط عدد النبضات الثنائية) اللازم للتخزين أو الاتصال. مثلا، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3، فهذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي بمعدل 3 بتات (نبضات ثنائية) لليوم الواحد.

تطبيقات نظرية المعلومات الأساسية تتضمن: [[ضغط البيانات عديم الخسارة|ضغط البيانات غير المنقوص]] lossless data compression : مثلا [[زيب (صيغة ملفات)]] ZIP، [[ضغط ذو خسارة|ضغط البيانات المنقوص]] Lossy compression مثل [[إم.بي.ثري]] MP3، [[سعة القناة|تشفير قنوات نقل البيانات وسعاتها]] channel capacity مثل خطوط [[خط المشترك الرقمي|دي.إس.إل]] DSL. يقع هذا الفرع عند حدود الرياضيات و[[إحصاء|الإحصاء]]، و[[علم الحاسوب|علوم الحاسب]] و[[فيزياء|الفيزياء]] و[[علوم عصبية|النيوروبيولوجيا]] و[[هندسة الكهرباء|الهندسة الكهربائية]]. تطبيقاتها كانت أساسية في نجاح مهمات [[برنامج فوياجير|فوياجير]] الفضائية، واختراع [[قرص مضغوط|سي.دي]] CD، وتطبيقات [[هاتف محمول|الهاتف المحمول]]، وتطور [[إنترنت|الإنترنت]]. وحتى دراسة [[لسانيات|اللسانيات]] والاستشعار الإنساني، وأيضا فهم ظاهرة [[ثقب أسود|الثقوب السوداء]] وغيرها من الحقول والتطبيقات العلمية.

== وحدات قياس المعلومات ==

نظرية المعلومات مبنية على [[نظرية الاحتمال]]ات و[[إحصاء|الإحصاء]].
أهم وحدات قياس المعلومات هي [[اعتلاج (نظرية المعلومات)|انتروبي]]
وهي كم المعلومات الموجود في [[متغير عشوائي]]، بالإضافة إلى [[معلومات متبادلة|المعلومات المتبادلة]]، وهي كمية المعلومات المشتركة بين متغيرين عشوائيين. تحدد الكمية الأولى مدى سهولة [[ضغط بيانات|ضغط]] بيانات الرسالة، بينما يمكن استخدام القيمة الثانية لإيجاد معدل الاتصال عبر [[قناة اتصال|القناة]].

يحدد اختيار قاعدة [[لوغاريتم|اللوغاريتم]] في المعادلة التالية [[وحدات قياس|unit]] [[اعتلاج (نظرية المعلومات)|اعتلاج (معلومات)]] المستخدمة. أكثر وحدات القياس شيوعًا هي النبضة الثنائية (البِت) [[بت]]، وهي التي تبنى على اللوغاريتم الثنائي [[لوغاريتم ثنائي]]. وتتضمن وحدات القياس الأخرى [[النات (unit)|nat]], وهي وحدة قائمة على اللوغاريتم الطبيعي [[لوغاريتم طبيعي|لوغارتم طبيعي]]، و [[هارتلي (وحدة)|هارتلي]], وهي الوحدة القائمة على اللوغاريتم الشائع common logarithm]].

فيما يلي، سوف تُعْتَبَرُ أي [[صيغة رياضية]] على الصورة <math>p \log p \,</math> اتفاقًا على أنها تساوي صفرًا <math>p=0.</math> وهذا له ما يبرره نظرًا لأن <math>\lim_{p \rightarrow 0+} p \log p = 0</math> لأي قاعدة لوغاريتمية.

=== الإنتروبية ===
[[ملف:Binary entropy plot.svg|تصغير|يمين|200px| الإنتروبية الخاصة بمحاولات بيرنولي [[Bernoulli trial]] كدالة في احتمال النجاح، وعادة ما يطلق عليها '''[[binary entropy function]]''', <math>H_\mbox{b}(p)</math>. تصل الأنتروبية إلى قيمتها القصوى والتي تبلغ 1 نبضة ثنائية (بت) لكل محاولة حين يكون لكل قيمة من قيمتي الخرج المحتملتين نفس القيمة، كما هو الحال عند إلقاء عملة غير منحازة.]]
وتعتبر [[اعتلاج (نظرية المعلومات)|انتروبي]]، <math>H</math>, الخاصة بمتغير عشوائي غير متصل <math>X</math> مقياسًا لكمية ''الشك'' المرتبطة بقيمة <math>X</math>.

لنفرض أن أحد الأشخاص قام بإرسال 1000 نبضة ثنائية (صفر وواحد). إذا كانت هذه النبضات الثنائية معروفة قبل الإرسال (أي معروفة قيمتها بتحديد مطلق)، فإن المنطق يحتِّم أن نقول أنه لم تُرْسَل أية معلومات في هذه الحالة. ولكن، إذا كانت كل نبضة ثنائية مستقلة عن الأخرى وذات احتمال متساوٍ في أن تكون صفر أو واحد، فإننا نقول أنه أُرْسِلَت 1000 نبضة ثنائية (من وجهة نظر نظرية المعلومات). وبين هاتين الحالتين المتباينتين، يمكن تحديد كم المعلومات كما يلي.

إذا كان <math>\mathbb{X}</math> يعبر عن المجموعة التي تضم كل القيم الممكنة التي يمكن أن تأخذها <math>\{x_1, ..., x_n\}</math> that <math>X</math> could be, وكان <math>p(x)</math> هو احتمال قيمة ما تسمى <math>x \in \mathbb X</math>, فإن الإنتروبية ويرمز لها بالرمز، <math>H</math>, of <math>X</math> تعرّف على أنها:<ref name = Reza>{{استشهاد بكتاب | عنوان = An Introduction to Information Theory | مؤلف = Fazlollah M. Reza | ناشر = Dover Publications, Inc., New York | سنة = 1961, 1994 | الرقم المعياري = 0-486-68210-2 | مسار = http://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22| مسار أرشيف = https://web.archive.org/web/20160619045541/https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22 | تاريخ أرشيف = 19 يونيو 2016 }}</ref>

:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>

وهنا، يرمز الرمز <math>I(x)</math> إلى [[المضمون المعلومي]]، وهي مدى إسهام كل رسالة منفصلة في الإنتروبية، ويرمز الرمز <math>\mathbb{E}_{X}</math> إلى القيمة المتوقعة [[قيمة متوقعة]].) أحد الخصائص الهامة للإنتروبية هي أنها تبلغ الحد الأقصى حين تكون كل الرسائل المتاحة في مجال الرسائل متساوية الاحتمال <math>p(x)=1/n</math>,—أي أنها يصعب التنبؤ بها إلى أقصى درجة — وفي هذه الحالة يكون <math> H(X)=\log n</math>.

الحالة الخاصة لإنتروبية المعلومات التي تمثل متغير عشوائي ثنائي هي '''[[binary entropy function]]''', وهي عادة ما تكون محسوبة بالنسبة لأساس اللوغاريتم 2:

:<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).\,</math>

ومن المهم أن نلاحظ هنا أن قيمة الإنتروبية (كما هو موضح في الشكل، تكون صفرًا عندما تكون قيمة المتغير العشوائي معروفة بدون أدنى شك. وهو ما يناظر الحالة التي تكون فيها <math>p=1</math> أو <math>p=0</math> إذ أن المتغير لا يحمل أي معلومات في هذه الحالة. ولكي نفهم ذلك، فكِّر في كم المعلومات التي تحصل عليها عندما يخبرك أحد الأشخاص بحقيقة كونية ثابتة، مثل: «[[الشمس]] تشرق من الشرق». إذ أن احتمال حدوث ذلك هو احتمال مؤكد وبالتالي لا تحصل على أي معلومة. وسوف يأتي الحديث إلى مسألة «ضغط البيانات» والتي نحاول فيها الوصول إلى أقل حجم لتمثيل بيانات عشوائية. وسوف نعرف حينئذ أن قيمة الإنتروبية هي أقل قيمة يمكن تمثيل المتغير العشوائي بها. في المثال الموجود أعلاه، والذي يفترض إرسال 1000 نبضة ثنائية من متغير عشوائي، وبفرض أن يأخذ المتغير العشوائي قيمة "1" هي 0.1 فإن الشكل يبين أن قيمة الإنتروبية حوالي 0.5 نبضة ثنائية (بِت). وبالتالي فإن نظرية المعلومات تخبرنا أن 1000 نبضة ثنائية مولّدة من هذا المتغير يمكن التعبير عنها بـ 500 نبضة فقط. وهذا العلم هو الذي يعرف باسم [[ضغط بيانات|"ترميز المصدر"]] (Source Coding) أي اختيار أنسب مجموعة من الرموز يمكنها تمثيل مخرجات المتغير العشوائي/المصدر بأقل قدر من النبضات الثنائية.

=== الإنتروبية المشتركة ===
تعبِّر '''[[اعتلاج مشترك|الإنتروبية المشتركة]]''' لمتغيرين عشوائيين متقطعين <math>X</math> و<math>Y</math> عن الإنتروبية الخاصة بهما معًا عندما يكونان زوجًا: <math>(X, Y)</math>. ويعني هذا ضمنيًا أنه إذا كان المتغيران <math>X</math> و<math>Y</math> مستقلان إحصائيًا أي [[استقلال (نظرية الاحتمال)]], فإن الإنتروبية المشتركة لهما لن تعدو أن تكون مجموع إنتروبية كل منهما. ولكن القيمة الحقيقية للإنتروبية المشتركة تظهر في حالة المتغيرات العشوائية المترابطة. فعلى سبيل المثال، إذا كان المتغيران <math>X</math> و<math>Y</math> يعبران عن درجة الحرارة في مكانٍ ما ومعدل الإصابة بضربات الشمس في نفس المكان، فإننا نتوقع أن يكون المتغيران مرتبطان، وبالتالي فإن مقياس كم المعلومات الموجود فيهما معًا (الإنتروبية المشتركة) يكون أقل من مجموعهما، نظرًا لأن هناك جزء من المعلومات التي نتعلمها من المتغير العشوائي الأول يمكن أن تفيدنا في معرفة شيء ما عن المتغير العشوائي الثاني والعكس بالعكس.

مثال آخر، إذا كان <math>(X,Y)</math> يمثلان موقع قطعة [[شطرنج]] — حيث يمثل <math>X</math> الصف ويمثل <math>Y</math> العمود، فإن الإنتروبية المشتركة للإثنين معًا هي الإنتروبية التي تعبر عن مكان القطعة على لوحة الشطرنج. وبتطبيق نفس تعريف الإنتروبية على احتمالات المتغيرين العشوائيين معًا فإن الإنتروبية المشتركة يمكن حسابها من العلاقة:

:<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>

وعلى الرغم من تشابه الرمز المعبر عن الإنتروبية المشتركة مع الرمز المعبِّر عن، '''[[اعتلاج (نظرية المعلومات)|الإنتروبية المتقاطعة]] cross entropy''' إلا أنه ينبغي ألا نخلط بينهما.

وقبل أن نستكمل الحديث عن كميات قياس المعلومات، لابد من التنويه عن أن الترابط بين متغيرين عشوائيين يجعل الإنتروبية المشتركة لهما أقل من مجموع الإنتروبية الخاصة بكلٍ منهما على حدة. إذ كلما زاد الترابط بين المتغيرين كانت معرفة أحدهما تُغنى عن معرفة الآخر.

ولفهم هذا المبدأ دعونا ننظر إلى الحالتين المتناقضتين: الأولى إذا كان المتغيران العشوائيان متطابقين، كأن يكون كلٌ من <math>X</math> و<math>Y</math> متساويين، من البديهى في هذه الحالة أن المعلومات (الإنتروبية) المشتركة (المتضمنة في المتغيرين معًا) لا تزيد عن المعلومات المتضمنة في واحدٍ فقط منهما. وعلى النقيض في الحالة الثانية، إذا كان المتغيران لا توجد بينهما أية علاقة، فإن المعلومات التي يحملانها معًا (الإنتروبية المشتركة لهما) تساوى مجموع المعلومات في <math>X</math> والمعلومات في <math>Y</math> وهي الإنتروبية الخاصة بكل منهما.

=== المعلومات المتبادلة (المعلومات المنقولة) ===
تقيس '''[[معلومات متبادلة|المعلومات المتبادلة]]''' (Mutual Information) كم المعلومات التي يمكن الحصول عليها من متغير عشوائي (مصدر معلومات) من خلال ملاحظة متغير عشوائي (مصدر معلومات) آخر. وهي من الكميات الهامة في أنظمة الاتصالات حيث يساعد فهم مقدار المعلومات المتبادلة في زيادة كم المعلومات المتبادل بين الإشارات المرسلة والإشارات المستقبلة (كما سيأتي تفصيله فيما بعد). وتقاس كمية المعلومات المتبادلة بين متغير عشوائي <math>X</math> ومتغير عشوائي آخر <math>Y</math> طبقًا للمعادلة:

:<math>I(X;Y) =  \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>

وقبل أن نبدأ في سرد خواص المعلومات المتبادلة، يجب التنويه إلى معنى هذه القيمة وعلاقتها بالإنتروبية المشتركة التي سبق الحديث عنها: حيث أن حاصل طرح: مجموع المعلومات في كلٍ <math>X</math> و<math>Y</math> (وهو المجموع الذي يعبر عن <math>H(X)</math> زائد <math>H(Y)</math> أي قدر المعلومات التي يحويها كلاهما إذا افترضنا عدم وجود ارتباط بينهما)، ناقص الإنتروبية المشتركة (وهي تعبر عن إجمالي المعلومات التي يعبر عنها <math>X</math> و<math>Y</math> معًا) يعطينا المعلومات المعلومات المتبادلة (وهي المعلومات التي يعطيها أحدهما- وليكن <math>X</math> - عن الآخر وليكن <math>Y</math>). ونعبر عن هذا بالمعادلة الرياضية

<math>I(X;Y) = H(X)+H(Y) - H(X,Y)</math>،
والتي تكافئ تعريف الإنتروبية المشتركة
<math>H(X;Y) = H(X)+H(Y) - I(X,Y)</math>،

ولمزيد من التوضيح إذا طرحنا المعلومات المتبادلة <math>I(X;Y)</math> من المعلومات التي يحتويها المتغير العشوائي <math>Y</math> فإن هذا يعطينا كم المعلومات المتبقي (أي الغير معروف بعد) في <math>X</math> بعد معرفة <math>Y</math> بالكامل. وهي كمية أخرى سيأتي الحديث عنها باسم [[اعتلاج (نظرية المعلومات)|الإنتروبية]] المشروطة (Conditional Entropy) ويرمز لها بالرمز <math> H(X|Y)</math>.

ومن الخصائص الأساسية للمعلومات المتبادلة أن:
<math>I(X;Y) = H(X) - H(X|Y)</math>،
وتفسير هذه المعادلة، أنه بمعرفة، ''Y'', يمكننا توفير كم من النبضات الثنائية (بِت) يساوي في المتوسط <math>I(X; Y)</math> عند ترميز المتغير العشوائي ''<math>X</math>'' بالمقارنة بما يحتاجه هذا الترميز إذا لم يكن المتغير ''<math>Y</math>'' معروفًا.

وهو ما يعني ببساطة أن المعلومات التي أعطاها لنا <math>Y</math> عن <math>X</math> تمثل الفرق بين ما كنّا نجهله عن <math>X</math> قبل وبعد معرفة <math>Y</math>.

المعلومات المتبادلة [[دالة متماثلة|symmetric]]:
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>
أي أن المعلومات التي يحملها كل من المتغيرين العشوائيين عن الآخر متساوية.

ولمزيد من التوضيح لأهمية هذه الكمية وتطبيقاتها: دعونا نتخيل أن <math>X</math> يعبر عن البيانات المرسلة عبر قناة اتصال، بينما يعبر <math>Y</math> عن البيانات الخارجة (المستقبلة) منها. في هذه الحالة، فإن الاختلاف بين <math>X</math> و<math>Y</math> يعود إلى ما تتعرض له الإشارات من تداخل وشوشرة عبر قنوات الاتصال. وتعبر المعلومات المتبادلة عن كم المعلومات التي يحتويها <math>X</math> والتي أمكن تمريرها عبر القناة. ومن هنا، يكون من الطبيعي وجود علاقة بين سعة قناة الاتصال وبين المعلومات المتبادلة بين طرفيها. وهو ما يعرف باسم ''سعة القناة''. وببساطة شديدة، ونظرًا لاعتماد المعلومات المتبادلة على إنتروبية المتغير العشوائي ''<math>X</math>''، تكون سعة القناة هي أقصى قيمة يمكن أن تأخذها المعلومات المتبادلة مع جميع المتغيرات العشوائية الممكنة.
ولعل معرفة سعة القناة هو أحد أكبر إنجازات نظرية المعلومات في مجال الاتصالات، حيث تمثل هذه السعة الحد الأقصى لما يمكن أن تحققه أنظمة الاتصالات بغض النظر عن أسلوب عملها، وقد أمكن الربط بين هذه السعة وبين خصائص كود تصحيح الخطأ.

== انظر أيضًا ==
{{روابط شقيقة}}
=== تطبيقات ===
* [[علم التعمية]]،
* [[قمار|مقامرة]] Gambling

=== التاريخ ===
* [[كلود شانون|كلود إيلود شانون]]
* [[رالف هارتلي]]

=== النظرية ===
{{بداية-عمو}}
{{فاصل-عمو}}
* [[نظرية الترميز]] Coding theory
* [[ضغط بيانات|ترميز مصدري]] Source coding
* [[نظرية]] Detection theory
* [[نظرية التقدير]] Estimation theory
{{فاصل-عمو}}
* [[هندسة المعلومات]] Information geometry
* [[فلسفة المعلومات]] Philosophy of Information
{{نهاية-عمو}}

=== مصطلحات ===
{{بداية-عمو}}
{{فاصل-عمو}}
* [[اعتلاج (نظرية المعلومات)|إنتروبية المعلومات]] Information entropy
* [[اعتلاج مشترك|إنتروبي مشترك]]
* [[اعتلاج شرطي|إنتروبيا شرطية]]
* [[فائضية (نظرية المعلومات)|إسراف (نظرية المعلومات)]] {{إنج|Redundancy}}
{{فاصل-عمو}}
* [[معلومات متبادلة]] Mutual information
* [[تباعد كولباك - ليبلير]]
* [[سعة القناة]]
* [[هارتلي (وحدة)|هارتلي]]
* [[قناة سرية]]
* [[مرمز|مشفر]] Encoder
* [[فاك ترميز|محلل الشفرة]] Decoder
{{نهاية-عمو}}

== مراجع ==
{{مراجع}}

{{سبرانية}}
{{طرائق الضغط}}
{{معلوماتية}}
{{علم الحاسوب}}
{{معرفات مركب كيميائي}}
{{فروع الرياضيات}}
{{ضبط استنادي}}
{{مصادر طبية}}
{{شريط بوابات|اتصال عن بعد|تقانة المعلومات|رياضيات|علم الحاسوب}}

[[تصنيف:نظرية المعلومات|*]]
[[تصنيف:اتصالات]]
[[تصنيف:استحداثات متعلقة بالحواسيب في 1948]]
[[تصنيف:تاريخ الرياضيات]]
[[تصنيف:تاريخ المنطق]]
[[تصنيف:رياضيات متقطعة]]
[[تصنيف:السبرانيات]]
[[تصنيف:ضغط بيانات]]
[[تصنيف:عصر المعلومات]]
[[تصنيف:علم الحاسوب]]
[[تصنيف:علوم شكلية]]
[[تصنيف:كلود شانون]]