عرض مصدر الشبكات العصبية المتكررة

{{بطاقة طريقة علمية}}

[[شبكة عصبونية حيوية|الشبكات العصبية]] '''المتكررة''' أو '''شبكات ردود الفعل العصبية (بالإنكليزية: Recurrent neural network)''' التي هي على النقيض من [[عصب اصطناعي|شبكات feedforward،]] وأهم ما تتميزبه هو أن الاتصالات بين [[عصبون|الخلايا العصبية]] تكون في طبقة واحدة والخلايا العصبية في نفس أو الطبقة السابقة. في [[دماغ|الدماغ]] ، هذه هي الطريقة الأفضل لربط الشبكات العصبية ، خاصة في [[قشرة جديدة|القشرة المخية الحديثة]] . في [[شبكة عصبونية اصطناعية|الشبكات العصبية الاصطناعية]] ، يتم استخدام الترابط المتكرر [[عصب اصطناعي|للخلايا العصبية النموذجية]] لاكتشاف المعلومات ذات الترميز الزمني في البيانات.<ref name="kruse-print">{{استشهاد بكتاب
| عنوان = Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze
| طبعة = Zweite Auflage
| ناشر = Springer-Vieweg
| مكان = Wiesbaden
| تاريخ = 2015
| صفحات = 515
| ISBN = 978-3-658-10903-5
}}</ref> ومن الأمثلة على هذه الشبكات العصبية المتكررة [[شبكة هوبفيلد|Hopfield]] العصبية المترابطة تمامًا.
[[ملف:Neuronal-Networks-Feedback.png|تصغير|أنواع مختلفة من ردود الفعل: الحافة الزرقاء ( <math>w_d</math> ) مباشر ، الأخضر ( <math>w_i</math> ) غير مباشر والأحمر ( <math>w_l</math> ) ردود فعل جانبية.]]
يمكن تقسيم الشبكات المتكررة على النحو التالي:

* مع ردود فعل مباشرة {{إنج|direct feedback}} يتم استخدام الإخراج الخاص من الخلايا العصبية كمدخل إضافي.
* ردود الفعل غير المباشرة {{إنج|indirect feedback}} يربط إخراج الخلايا العصبية مع الخلايا العصبية من الطبقات السابقة.
* ردود الفعل الجانبية {{إنج|lateral feedback}} يربط ناتج الخلايا العصبية بخلايا عصبية أخرى في نفس الطبقة.
* من خلال الاتصال الكامل ، يكون لكل ناتج من الخلايا العصبية اتصال مع كل خلية عصبية أخرى.

تُستخدم الشبكات العصبية المتكررة في الممارسة العملية للمشكلات التي تتطلب معالجة التسلسلات. تشمل الأمثلة [[تعرف على خط اليد|التعرف على خط اليد والتعرف على]] [[تعرف على الكلام|الكلام]] [[ترجمة آلية|والترجمة الآلية]] . النوع السائد من الشبكات العصبية المتكررة هنا هو [[ذاكرة طويلة المدى|LSTMs]] أو المتغيرات المماثلة التي تعتمد على التغذية الراجعة المباشرة.

يمكن برمجة وتنفيذ الشبكات العصبية المتكررة في [[باي تورش|مكتبات]] البرامج الشائعة مثل PyTorch بسهولة في Python ثم ترجمتها إلى كود فعال [[ترجمة في الوقت المناسب|باستخدام التجميع في الوقت المناسب.]]

== تدريب الشبكات العصبية المتكررة ==
ليس من السهولة تدريب الشبكات العصبية الاصطناعية المتكررة [[تعلم الآلة|باستخدام أساليب التعلم الآلي.]] <ref>{{Internetquelle|url=http://snn.elis.ugent.be/rcbook|titel=Reservoir Computing|hrsg=Reservoir Lab Ghent|datum=30. Mai 2008|zugriff=2. April 2010|archiv-url=https://web.archive.org/web/20100405215648/http://snn.elis.ugent.be/rcbook|archiv-datum=2010-04-05}} {{استشهاد بويب |مسار=http://snn.elis.ugent.be/rcbook |عنوان=نسخة مؤرشفة |تاريخ الوصول=28 ديسمبر 2021 |تاريخ أرشيف=5 أبريل 2010 |مسار أرشيف=https://web.archive.org/web/20100405215648/http://snn.elis.ugent.be/rcbook |حالة المسار=dead }}</ref> لذلك فإن الأسلوب الشائع ليس تدريب الشبكة ، بل تدريب الشبكة على قراءتها. يُنظر إلى الشبكة العصبية المتكررة على أنها ما يسمى بخزان في سياق حوسبة الخزان. في حالة LSTMs ، يتم تحويل الشبكات إلى شبكة تغذية وفقًا لطول التسلسل باستخدام الانتشار العكسي عبر الوقت (انظر [[انتشار خلفي|backpropagation) أثناء عملية التدريب.]] <ref>{{Internetquelle|url=http://deeplearning4j.org/lstm.html|titel=A Beginner's Guide to Recurrent Networks and LSTMs - Deeplearning4j: Open-source, distributed deep learning for the JVM|zugriff=2016-07-16}} {{استشهاد بويب |مسار=http://deeplearning4j.org/lstm.html |عنوان=نسخة مؤرشفة |تاريخ الوصول=28 ديسمبر 2021 |تاريخ أرشيف=16 يوليو 2016 |مسار أرشيف=https://web.archive.org/web/20160716162501/http://deeplearning4j.org/lstm.html |حالة المسار=dead }}</ref> هذا يجعل تعقيد سلوك التعلم مشابهًا لسلوك شبكات التغذية التقليدية.

نقطة البداية للانتشار العكسي عبر الزمن هي أن دالة الخسارة الكلية للسلسلة الزمنية تتكون من <math>T</math> خطوات الوقت والتي يمكن تمثيلها على النحو التالي:

: <math>L=\sum_{t=1}^T l(y_t,o_t(\theta))</math> و

بواسطة <math>l</math> هي وظيفة ناتجة عن الشبكة <math>o_t</math> (في الموعد <math>t</math> ) بهدف <math>y_t</math> يقارن وأين <math>\theta</math> هو [[منظومة رصينة|متجه المعلمة الثابتة للوقت]] للشبكة العصبية المتكررة. يسمح الانتشار العكسي عبر الزمن بحساب المشتق الكلي [[قاعدة السلسلة|(من حيث المكون) من خلال تطبيق قاعدة السلسلة]] <math>\frac{d L}{d \theta_i}</math> . منذ الإخراج <math>o_t(h_{t-1}(\theta))</math> حتى من القيم <math>h_{t-1}</math> من الخطوة الزمنية السابقة <math>t-1</math> يعتمد وهذا على <math>\theta</math> ، يجب تضمين هذه الخطوات الزمنية السابقة في الاشتقاق.

يمكن أن تنشأ مشاكل في تدريب الشبكات العصبية المتكررة بسبب اختفاء التدرجات أو انفجارها. يمكن استخدام إجبار المعلم (بالإنكليزية:Teacher-Forcing) للتحايل على هذه المشكلات ، ولكن يتم إدخال مقايضة التعرض للانحياز (بالإنكليزية: Bias-Exposure tradeoff ).<ref>Quantifying Exposure Bias for Open-ended Language Generation https://arxiv.org/abs/1905.10617#:~:text=The%20exposure%20bias%20problem%20refers,network%20language%20models%20(LM). {{Webarchive|url=https://web.archive.org/web/20211007160722/https://arxiv.org/abs/1905.10617|date=2021-10-07}}</ref>

== المؤلفات ==

* أندرياس زيل: ''محاكاة الشبكات العصبية.'' تم العثور على R.&nbsp;Oldenbourg Verlag ، ميونيخ 1997 ، ISBN 3-486-24350-0 .

== مراجع ==

{{مراجع}}
{{ضبط استنادي}}
{{شريط سفلي ذكاء اصطناعي}}

{{شريط بوابات|ذكاء اصطناعي|علم الحاسوب}}

[[تصنيف:ذكاء اصطناعي]]
[[تصنيف:شبكات عصبونية اصطناعية]]
[[تصنيف:علوم عصبية حاسوبية]]
[[تصنيف:معلوماتية عصبية]]