الشبكات العصبية المتكررة

الشبكات العصبية المتكررة أو شبكات ردود الفعل العصبية (بالإنكليزية: Recurrent neural network) التي هي على النقيض من شبكات feedforward، وأهم ما تتميزبه هو أن الاتصالات بين الخلايا العصبية تكون في طبقة واحدة والخلايا العصبية في نفس أو الطبقة السابقة. في الدماغ ، هذه هي الطريقة الأفضل لربط الشبكات العصبية ، خاصة في القشرة المخية الحديثة . في الشبكات العصبية الاصطناعية ، يتم استخدام الترابط المتكرر للخلايا العصبية النموذجية لاكتشاف المعلومات ذات الترميز الزمني في البيانات. ومن الأمثلة على هذه الشبكات العصبية المتكررة Hopfield العصبية المترابطة تمامًا.

أنواع مختلفة من ردود الفعل: الحافة الزرقاء ( $w_d$ ) مباشر ، الأخضر ( $w_i$ ) غير مباشر والأحمر ( $w_l$ ) ردود فعل جانبية.

يمكن تقسيم الشبكات المتكررة على النحو التالي:

• مع ردود فعل مباشرة قالب:إنج يتم استخدام الإخراج الخاص من الخلايا العصبية كمدخل إضافي.
• ردود الفعل غير المباشرة قالب:إنج يربط إخراج الخلايا العصبية مع الخلايا العصبية من الطبقات السابقة.
• ردود الفعل الجانبية قالب:إنج يربط ناتج الخلايا العصبية بخلايا عصبية أخرى في نفس الطبقة.
• من خلال الاتصال الكامل ، يكون لكل ناتج من الخلايا العصبية اتصال مع كل خلية عصبية أخرى.

تُستخدم الشبكات العصبية المتكررة في الممارسة العملية للمشكلات التي تتطلب معالجة التسلسلات. تشمل الأمثلة التعرف على خط اليد والتعرف على الكلام والترجمة الآلية . النوع السائد من الشبكات العصبية المتكررة هنا هو LSTMs أو المتغيرات المماثلة التي تعتمد على التغذية الراجعة المباشرة.

يمكن برمجة وتنفيذ الشبكات العصبية المتكررة في مكتبات البرامج الشائعة مثل PyTorch بسهولة في Python ثم ترجمتها إلى كود فعال باستخدام التجميع في الوقت المناسب.

تدريب الشبكات العصبية المتكررة

ليس من السهولة تدريب الشبكات العصبية الاصطناعية المتكررة باستخدام أساليب التعلم الآلي. لذلك فإن الأسلوب الشائع ليس تدريب الشبكة ، بل تدريب الشبكة على قراءتها. يُنظر إلى الشبكة العصبية المتكررة على أنها ما يسمى بخزان في سياق حوسبة الخزان. في حالة LSTMs ، يتم تحويل الشبكات إلى شبكة تغذية وفقًا لطول التسلسل باستخدام الانتشار العكسي عبر الوقت (انظر backpropagation) أثناء عملية التدريب. هذا يجعل تعقيد سلوك التعلم مشابهًا لسلوك شبكات التغذية التقليدية.

نقطة البداية للانتشار العكسي عبر الزمن هي أن دالة الخسارة الكلية للسلسلة الزمنية تتكون من $T$ خطوات الوقت والتي يمكن تمثيلها على النحو التالي:

$L=\sum _{t=1}^{T}l(y_t,o_t(\theta ))$ و

بواسطة $l$ هي وظيفة ناتجة عن الشبكة $o_t$ (في الموعد $t$ ) بهدف $y_t$ يقارن وأين $\theta$ هو متجه المعلمة الثابتة للوقت للشبكة العصبية المتكررة. يسمح الانتشار العكسي عبر الزمن بحساب المشتق الكلي (من حيث المكون) من خلال تطبيق قاعدة السلسلة $\frac{dL}{d{\theta }_i}$ . منذ الإخراج $o_t(h_{t-1}(\theta ))$ حتى من القيم $h_{t-1}$ من الخطوة الزمنية السابقة $t-1$ يعتمد وهذا على $\theta$ ، يجب تضمين هذه الخطوات الزمنية السابقة في الاشتقاق.

يمكن أن تنشأ مشاكل في تدريب الشبكات العصبية المتكررة بسبب اختفاء التدرجات أو انفجارها. يمكن استخدام إجبار المعلم (بالإنكليزية:Teacher-Forcing) للتحايل على هذه المشكلات ، ولكن يتم إدخال مقايضة التعرض للانحياز (بالإنكليزية: Bias-Exposure tradeoff ).

المؤلفات

• أندرياس زيل: محاكاة الشبكات العصبية. تم العثور على R. Oldenbourg Verlag ، ميونيخ 1997 ، ISBN 3-486-24350-0 .