عرض مصدر التعلم المعزز من ردود الفعل البشرية

{{تعلم الآلة|التعليم بالإشراف}}

'''التعلم المعزز من ردود الفعل البشرية''' أو '''التعليم بواسطة التعزيز من الملاحظات البشرية<ref>{{استشهاد ويب| عنوان = ما المقصود بالتعلُّم المعزَّز من الملاحظات البشرية (RLHF)؟ - شرح "التعلُّم المعزَّز من الملاحظات البشرية" - AWS| مسار = https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = Amazon Web Services, Inc.| لغة = العربية|مسار أرشيف= http://web.archive.org/web/20241125151701/https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/|تاريخ أرشيف=2024-11-25}}</ref>''' ('''RLHF''') هو أسلوب من أساليب [[تعلم الآلة|تعلّم الآلة]]، يستخدم الملاحظات البشرية [[مشكلة التحكم في الذكاء الاصطناعي|لتحسين]] نماذج تعلّم الآلة من أجل [[تعلم ذاتي|التعلم الذاتي]] بشكل أكثر كفاءة.<ref>{{استشهاد ويب| عنوان = أنواع التعلم الآلي {{!}} IBM| مسار = https://www.ibm.com/sa-ar/think/topics/machine-learning-types| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = www.ibm.com| تاريخ = 27 سبتمبر 2024T19:00:30.019| لغة = العربية}}</ref> تعمل تقنيات [[تعلم بالتعزيز|التعليم بواسطة التعزيز]] على تدريب البرامج على اتخاذ القرارات التي تحصل على أكثر قدر ممكن من المكافآت، مما يجعل نتائجها أكثر دقة.<ref>{{استشهاد ويب| عنوان = Rich human feedback for text-to-image generation| مسار = https://research.google/blog/rich-human-feedback-for-text-to-image-generation/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = research.google| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20241119200104/https://research.google/blog/rich-human-feedback-for-text-to-image-generation/|تاريخ أرشيف=2024-11-19}}</ref> في هذا الأسلوب تُدمَج الملاحظات البشرية في دالة المكافآت، لذلك يمكن لنموذج تعلّم الآلة أداء مهام أكثر تماشيًا مع الأهداف والرغبات والاحتياجات البشرية.<ref>{{استشهاد ويب| عنوان = AIs are more likely to mislead people if trained on human feedback| مسار = https://www.newscientist.com/article/2450360-ais-are-more-likely-to-mislead-people-if-trained-on-human-feedback/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = New Scientist| مؤلف = #author.fullName| مسار أرشيف = https://archive.today/20241002204312/https://www.newscientist.com/article/2450360-ais-are-more-likely-to-mislead-people-if-trained-on-human-feedback/{{!}}| تاريخ أرشيف = 2 أكتوبر 2024| حالة المسار = bot: unknown}}{{استشهاد ويب| عنوان = AIs are more likely to mislead people if trained on human feedback| مسار = https://www.newscientist.com/article/2450360-ais-are-more-likely-to-mislead-people-if-trained-on-human-feedback/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = New Scientist| مؤلف = #author.fullName|مسار أرشيف= تاريخ أرشيف=2024-10-02}}| لغة = الإنجليزية| مسار أرشيف =http://archive.md/20241002204312/https://www.newscientist.com/article/2450360-ais-are-more-likely-to-mislead-people-if-trained-on-human-feedback/| تاريخ أرشيف = 02 أكتوبر 2024}}</ref> يُستخدَم أسلوب التعليم بواسطة التعزيز من الملاحظات البشرية في جميع تطبيقات الذكاء الاصطناعي المولّد، بما في ذلك نماذج اللغة الكبيرة (LLM).<ref>{{استشهاد ويب| عنوان = What Is Reinforcement Learning From Human Feedback (RLHF)? {{!}} IBM| مسار = https://www.ibm.com/topics/rlhf| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = www.ibm.com| تاريخ = 09 نوفمبر 2023| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20241116221504/https://www.ibm.com/topics/rlhf|تاريخ أرشيف=2024-11-16}}</ref><ref>{{استشهاد ويب| عنوان = Reinforcement Learning from Human Feedback - DeepLearning.AI| مسار = https://www.deeplearning.ai/short-courses/reinforcement-learning-from-human-feedback/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = www.deeplearning.ai| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20241129093729/https://www.deeplearning.ai/short-courses/reinforcement-learning-from-human-feedback/|تاريخ أرشيف=2024-11-29}}</ref><ref>{{استشهاد ويب| عنوان = The Story of RLHF: Origins, Motivations, Techniques, and Modern Applications| مسار = https://towardsdatascience.com/the-story-of-rlhf-origins-motivations-techniques-and-modern-applications-16dfac9e4a45?gi=286e7997b684| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = Medium| تاريخ = 29 فبراير 2024| مؤلف = Ph.D| مؤلف1-الأول = Cameron R. Wolfe| لغة = الإنجليزية}}</ref>
[[ملف:RLHF_diagram.svg|تصغير|350x350بك| نظرة عامة عالية المستوى على التعلم التعزيزي من خلال ردود الفعل البشرية]]

== الخلفية والدافع ==
إن تطوير النماذج القائمة على التغذية الراجعة البشرية يكتسب أهمية بالغة عندما تكون المهمة معقدة التحديد، إلا أنها سهلة التقييم.<ref name="openai">{{استشهاد ويب| عنوان = Learning from human preferences| تاريخ = 13 يونيو 2017| مؤلف1-الأخير = Amodei| مؤلف1-الأول = Dario| مؤلف2-الأخير = Christiano| مؤلف2-الأول = Paul| مؤلف3-الأخير = Ray| مؤلف3-الأول = Alex| مسار = https://openai.com/research/learning-from-human-preferences| موقع = openai.com| تاريخ الوصول = 4 مارس 2023|مسار أرشيف= http://web.archive.org/web/20240501022006/https://openai.com/research/learning-from-human-preferences|تاريخ أرشيف=2024-05-01}}</ref> مثال على ذلك هو تدريب نموذج لإنشاء نص [[سلامة الذكاء الاصطناعي|آمن]] ومفيد وخالٍ من الأضرار [[تحيز خوارزمي|كالتحيز]] أو السمية أو المحتوى الضار بأي شكل. قد يكون من الصعب والمستهلك للوقت أن يطلب من البشر إنشاء أمثلة نصية ضارة وغير ضارة يدويًا. ومع ذلك، يجيد البشر تقييم ومقارنة ضرر النصوص التي ينتجها الذكاء الاصطناعي بسرعة. لذا، فإن الهدف العملي هو تمكين النموذج من الاستفادة من هذا النوع من التغذية الراجعة البشرية لتحسين إنتاج النص.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Zheng| مؤلف1-الأول = Rui| مؤلف2-الأخير = Dou| مؤلف2-الأول = Shihan| مؤلف3-الأخير = Gao| مؤلف3-الأول = Songyang| مؤلف4-الأخير = Hua| مؤلف4-الأول = Yuan| مؤلف5-الأخير = Shen| مؤلف5-الأول = Wei| مؤلف6-الأخير = Wang| مؤلف6-الأول = Binghai| مؤلف7-الأخير = Liu| مؤلف7-الأول = Yan| مؤلف8-الأخير = Jin| مؤلف8-الأول = Senjie| مؤلف9-الأخير = Liu| مؤلف9-الأول = Qin| مؤلف10-الأخير = Zhou| مؤلف10-الأول = Yuhao| مؤلف11-الأخير = Xiong| مؤلف11-الأول = Limao| مؤلف12-الأخير = Chen| مؤلف12-الأول = Lu| مؤلف13-الأخير = Xi| مؤلف13-الأول = Zhiheng| مؤلف14-الأخير = Xu| مؤلف14-الأول = Nuo| مؤلف15-الأخير = Lai| مؤلف15-الأول = Wenbin| مؤلف16-الأخير = Zhu| مؤلف16-الأول = Minghao| مؤلف17-الأخير = Chang| مؤلف17-الأول = Cheng| مؤلف18-الأخير = Yin| مؤلف18-الأول = Zhangyue| مؤلف19-الأخير = Weng| مؤلف19-الأول = Rongxiang| مؤلف20-الأخير = Cheng| مؤلف20-الأول = Wensen| مؤلف21-الأخير = Huang| مؤلف21-الأول = Haoran| مؤلف22-الأخير = Sun| مؤلف22-الأول = Tianxiang| مؤلف23-الأخير = Yan| مؤلف23-الأول = Hang| مؤلف24-الأخير = Gui| مؤلف24-الأول = Tao| مؤلف25-الأخير = Zhang| مؤلف25-الأول = Qi| مؤلف26-الأخير = Qiu| مؤلف26-الأول = Xipeng| مؤلف27-الأخير = Huang| مؤلف27-الأول = Xuanjing| عنوان = Secrets of RLHF in Large Language Models Part I: PPO| تاريخ = 2023| class = cs.CL| eprint = 2307.04964}}</ref>

رغم الفوائد الجلية لاستخدام التغذية الراجعة البشرية في تدريب النماذج، إلا أن الجهود السابقة، بما في ذلك تلك التي اعتمدت على [[تعلم بالتعزيز|التعلم المعزز]]، واجهت تحديات كبيرة. كانت معظم المحاولات إما محدودة النطاق وصعبة التعميم، مما أدى إلى فشلها في المهام الأكثر تعقيدًا، <ref>{{استشهاد بكتاب| مؤلف1-الأخير = Knox| مؤلف1-الأول = W. Bradley| مؤلف2-الأخير = Stone| مؤلف2-الأول = Peter| مؤلف3-الأخير = Breazeal| مؤلف3-الأول = Cynthia| الفصل = Training a Robot via Human Feedback: A Case Study| عنوان = Social Robotics| سلسلة = Lecture Notes in Computer Science| تاريخ = 2013| المجلد = 8239| صفحات = 460–470| doi = 10.1007/978-3-319-02675-6_46| مسار الفصل = https://link.springer.com/chapter/10.1007/978-3-319-02675-6_46| ناشر = Springer International Publishing| isbn = 978-3-319-02674-9| لغة = الإنجليزية| مسار = http://link.springer.com/10.1007/978-3-319-02675-6_46| تاريخ الوصول = 28 أكتوبر 2024}}</ref><ref>{{استشهاد بكتاب| مؤلف1-الأخير = Akrour| مؤلف1-الأول = Riad| مؤلف2-الأخير = Schoenauer| مؤلف2-الأول = Marc| مؤلف3-الأخير = Sebag| مؤلف3-الأول = Michèle| الفصل = APRIL: Active Preference Learning-Based Reinforcement Learning| عنوان = Machine Learning and Knowledge Discovery in Databases| سلسلة = Lecture Notes in Computer Science| تاريخ = 2012| المجلد = 7524| صفحات = 116–131| doi = 10.1007/978-3-642-33486-3_8| مسار الفصل = https://link.springer.com/chapter/10.1007/978-3-642-33486-3_8| ناشر = Springer| لغة = الإنجليزية| arxiv = 1208.0984| isbn = 978-3-642-33485-6| مسار = http://link.springer.com/10.1007/978-3-642-33486-3_8| تاريخ الوصول = 28 أكتوبر 2024}}</ref><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Wilson| مؤلف1-الأول = Aaron| مؤلف2-الأخير = Fern| مؤلف2-الأول = Alan| مؤلف3-الأخير = Tadepalli| مؤلف3-الأول = Prasad| عنوان = A Bayesian Approach for Policy Learning from Trajectory Preference Queries| صحيفة = Advances in Neural Information Processing Systems| تاريخ = 2012| المجلد = 25| مسار = https://papers.nips.cc/paper_files/paper/2012/hash/16c222aa19898e5058938167c8ab6c57-Abstract.html| تاريخ الوصول = 26 فبراير 2024| ناشر = Curran Associates, Inc.|مسار أرشيف= http://web.archive.org/web/20241127085316/https://papers.nips.cc/paper_files/paper/2012/hash/16c222aa19898e5058938167c8ab6c57-Abstract.html|تاريخ أرشيف=2024-11-27}}</ref><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Schoenauer| مؤلف1-الأول = Marc| مؤلف2-الأخير = Akrour| مؤلف2-الأول = Riad| مؤلف3-الأخير = Sebag| مؤلف3-الأول = Michele| مؤلف4-الأخير = Souplet| مؤلف4-الأول = Jean-Christophe| عنوان = Programming by Feedback| صحيفة = Proceedings of the 31st International Conference on Machine Learning| تاريخ = 18 يونيو 2014| صفحات = 1503–1511| مسار = https://proceedings.mlr.press/v32/schoenauer14.html| تاريخ الوصول = 26 فبراير 2024| ناشر = PMLR| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240928001734/https://proceedings.mlr.press/v32/schoenauer14.html|تاريخ أرشيف=2024-09-28}}</ref> أو عانت من صعوبات في التعلم من وظائف المكافأة النادرة (التي تفتقر إلى المعلومات المحددة وترتبط بكميات كبيرة من النص في الوقت نفسه) أو الضوضائية (التي تقدم مكافأة غير متسقة لنفس النتائج).<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Warnell| مؤلف1-الأول = Garrett| مؤلف2-الأخير = Waytowich| مؤلف2-الأول = Nicholas| مؤلف3-الأخير = Lawhern| مؤلف3-الأول = Vernon| مؤلف4-الأخير = Stone| مؤلف4-الأول = Peter| عنوان = Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces| صحيفة = Proceedings of the AAAI Conference on Artificial Intelligence| تاريخ = 25 أبريل 2018| المجلد = 32| العدد = 1| doi = 10.1609/aaai.v32i1.11485| s2cid = 4130751| arxiv = 1709.10163| مسار = https://ojs.aaai.org/index.php/AAAI/article/view/11485| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20240928001734/https://ojs.aaai.org/index.php/AAAI/article/view/11485|تاريخ أرشيف=2024-09-28}}
</ref><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = MacGlashan| مؤلف1-الأول = James| مؤلف2-الأخير = Ho| مؤلف2-الأول = Mark K.| مؤلف3-الأخير = Loftin| مؤلف3-الأول = Robert| مؤلف4-الأخير = Peng| مؤلف4-الأول = Bei| مؤلف5-الأخير = Wang| مؤلف5-الأول = Guan| مؤلف6-الأخير = Roberts| مؤلف6-الأول = David L.| مؤلف7-الأخير = Taylor| مؤلف7-الأول = Matthew E.| مؤلف8-الأخير = Littman| مؤلف8-الأول = Michael L.| عنوان = Interactive learning from policy-dependent human feedback| صحيفة = Proceedings of the 34th International Conference on Machine Learning - Volume 70| تاريخ = 6 أغسطس 2017| صفحات = 2285–2294| مسار = https://dl.acm.org/doi/10.5555/3305890.3305917| ناشر = JMLR.org| arxiv = 1701.06049| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20230304011824/https://dl.acm.org/doi/10.5555/3305890.3305917|تاريخ أرشيف=2023-03-04}}</ref>

لم يكن التعلم المعزز من ردود الفعل البشرية أول طريقة ناجحة لاستخدام التغذية الراجعة البشرية في التعلم المعزز، ولكنه أحد أكثر الطرق استخدامًا. وقد تم تقديم الأساس لهذا النوع من التعلم كمحاولة لإنشاء خوارزمية عامة للتعلم من كمية معقولة من التغذية الراجعة البشرية.<ref name="openai"/><ref name="huggingface">{{استشهاد ويب| مؤلف1-الأخير = Lambert| مؤلف1-الأول = Nathan| مؤلف2-الأخير = Castricato| مؤلف2-الأول = Louis| مؤلف3-الأخير = von Werra| مؤلف3-الأول = Leandro| مؤلف4-الأخير = Havrilla| مؤلف4-الأول = Alex| عنوان = Illustrating Reinforcement Learning from Human Feedback (RLHF)| مسار = https://huggingface.co/blog/rlhf| موقع = huggingface.co| تاريخ الوصول = 4 مارس 2023|مسار أرشيف= http://archive.md/20230216112738/https://huggingface.co/blog/rlhf|تاريخ أرشيف=2023-02-16}}</ref> وقدمت شركة [[أوبن أيه آي]] الخوارزمية المستخدمة حاليًا في ورقة بحثية حول تحسين استمرارية النص أو تلخيصه بناءً على التغذية الراجعة البشرية، وبدأت هذه الطريقة في اكتساب الشعبية عندما استخدمتها الشركة نفسها في ورقتها حول [[جي بي تي-3]].<ref name="ziegler">{{استشهاد بأرخايف| مؤلف1-الأخير = Ziegler| مؤلف1-الأول = Daniel M.| مؤلف2-الأخير = Stiennon| مؤلف2-الأول = Nisan| مؤلف3-الأخير = Wu| مؤلف3-الأول = Jeffrey| مؤلف4-الأخير = Brown| مؤلف4-الأول = Tom B.| مؤلف5-الأخير = Radford| مؤلف5-الأول = Alec| مؤلف6-الأخير = Amodei| مؤلف6-الأول = Dario| مؤلف7-الأخير = Christiano| مؤلف7-الأول = Paul| مؤلف8-الأخير = Irving| مؤلف8-الأول = Geoffrey| عنوان = Fine-Tuning Language Models from Human Preferences| تاريخ = 2019| eprint = 1909.08593| class = cs.CL}}</ref><ref name="summarizationpaper">{{استشهاد بدورية محكمة| مؤلف = Nisan Stiennon| مؤلف2 = Long Ouyang| مؤلف3 = Jeffrey Wu| مؤلف4 = Daniel Ziegler| مؤلف5 = Ryan Lowe| مؤلف6 = Chelsea Voss| مؤلف7 = Alec Radford| مؤلف8 = Dario Amodei| مؤلف9 = Paul F. Christiano| عنوان = Learning to summarize with human feedback| صحيفة = Advances in Neural Information Processing Systems| تاريخ = 2020| المجلد = 33| مسار = https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html| لغة = الإنجليزية| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20241125180500/https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|تاريخ أرشيف=2024-11-25}}</ref><ref name="instructgptpaper">{{استشهاد بمنشورات مؤتمر| مؤلف1-الأخير = Ouyang| مؤلف1-الأول = Long| مؤلف2-الأخير = Wu| مؤلف2-الأول = Jeffrey| مؤلف3-الأخير = Jiang| مؤلف3-الأول = Xu| مؤلف4-الأخير = Almeida| مؤلف4-الأول = Diogo| مؤلف5-الأخير = Wainwright| مؤلف5-الأول = Carroll| مؤلف6-الأخير = Mishkin| مؤلف6-الأول = Pamela| مؤلف7-الأخير = Zhang| مؤلف7-الأول = Chong| مؤلف8-الأخير = Agarwal| مؤلف8-الأول = Sandhini| مؤلف9-الأخير = Slama| مؤلف9-الأول = Katarina| مؤلف10-الأخير = Gray| مؤلف10-الأول = Alex| مؤلف11-الأخير = Schulman| مؤلف11-الأول = John| مؤلف12-الأخير = Hilton| مؤلف12-الأول = Jacob| مؤلف13-الأخير = Kelton| مؤلف13-الأول = Fraser| مؤلف14-الأخير = Miller| مؤلف14-الأول = Luke| مؤلف15-الأخير = Simens| مؤلف15-الأول = Maddie| مؤلف16-الأخير = Askell| مؤلف16-الأول = Amanda| مؤلف17-الأخير = Welinder| مؤلف17-الأول = Peter| مؤلف18-الأخير = Christiano| مؤلف18-الأول = Paul| مؤلف19-الأخير = Leike| مؤلف19-الأول = Jan| مؤلف20-الأخير = Lowe| مؤلف20-الأول = Ryan| عنوان = Training language models to follow instructions with human feedback| عنوان المؤتمر = Thirty-Sixth Conference on Neural Information Processing Systems: NeurIPS 2022| تاريخ = 31 أكتوبر 2022| arxiv = 2203.02155| مسار = https://openreview.net/forum?id=TG8KACxEON| لغة = الإنجليزية| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = ICLR|مسار أرشيف= http://web.archive.org/web/20241128215826/https://openreview.net/forum?id=TG8KACxEON|تاريخ أرشيف=2024-11-28}}</ref> كما أظهر التعلم المعزز من ردود الفعل البشرية تحسين [[أمثلة متينة|قدرة]] عملاء [[تعلم بالتعزيز|التعلم المعزز]] على التحمل وقدرتهم على الاستكشاف، مما أدى إلى عملية تحسين أكثر كفاءة في التعامل مع [[ارتياب|عدم اليقين]] واستكشاف بيئته بفاعلية بحثًا عن المكافأة الأعلى.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Bai| مؤلف1-الأول = Yuntao| مؤلف2-الأخير = Jones| مؤلف2-الأول = Andy| مؤلف3-الأخير = Ndousse| مؤلف3-الأول = Kamal| مؤلف4-الأخير = Askell| مؤلف4-الأول = Amanda| مؤلف5-الأخير = Chen| مؤلف5-الأول = Anna| مؤلف6-الأخير = DasSarma| مؤلف6-الأول = Nova| مؤلف7-الأخير = Drain| مؤلف7-الأول = Dawn| مؤلف8-الأخير = Fort| مؤلف8-الأول = Stanislav| مؤلف9-الأخير = Ganguli| مؤلف9-الأول = Deep| مؤلف10-الأخير = Henighan| مؤلف10-الأول = Tom| مؤلف11-الأخير = Joseph| مؤلف11-الأول = Nicholas| مؤلف12-الأخير = Kadavath| مؤلف12-الأول = Saurav| مؤلف13-الأخير = Kernion| مؤلف13-الأول = Jackson| مؤلف14-الأخير = Conerly| مؤلف14-الأول = Tom| مؤلف15-الأخير = El-Showk| مؤلف15-الأول = Sheer| مؤلف16-الأخير = Elhage| مؤلف16-الأول = Nelson| مؤلف17-الأخير = Hatfield-Dodds| مؤلف17-الأول = Zac| مؤلف18-الأخير = Hernandez| مؤلف18-الأول = Danny| مؤلف19-الأخير = Hume| مؤلف19-الأول = Tristan| مؤلف20-الأخير = Johnston| مؤلف20-الأول = Scott| مؤلف21-الأخير = Kravec| مؤلف21-الأول = Shauna| مؤلف22-الأخير = Lovitt| مؤلف22-الأول = Liane| مؤلف23-الأخير = Nanda| مؤلف23-الأول = Neel| مؤلف24-الأخير = Olsson| مؤلف24-الأول = Catherine| مؤلف25-الأخير = Amodei| مؤلف25-الأول = Dario| مؤلف26-الأخير = Brown| مؤلف26-الأول = Tom| مؤلف27-الأخير = Clark| مؤلف27-الأول = Jack| مؤلف28-الأخير = McCandlish| مؤلف28-الأول = Sam| مؤلف29-الأخير = Olah| مؤلف29-الأول = Chris| مؤلف30-الأخير = Mann| مؤلف30-الأول = Ben| مؤلف31-الأخير = Kaplan| مؤلف31-الأول = Jared| عنوان = Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback| تاريخ = 2022| eprint = 2204.05862| class = cs.CL}}</ref>

== جمع ردود الفعل البشرية ==
تعتمد عملية التعلم المعزز من ردود الفعل البشرية بشكل كبير على جمع بيانات دقيقة وشاملة حول تفضيلات المستخدمين.<ref name="instructgptpaper"/><ref name="ars">{{استشهاد ويب| مؤلف1-الأخير = Edwards| مؤلف1-الأول = Benj| عنوان = OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results| مسار = https://arstechnica.com/information-technology/2022/12/openai-invites-everyone-to-test-new-ai-powered-chatbot-with-amusing-results/| موقع = Ars Technica| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية| تاريخ = 1 ديسمبر 2022|مسار أرشيف= http://web.archive.org/web/20241202220022/https://arstechnica.com/information-technology/2022/12/openai-invites-everyone-to-test-new-ai-powered-chatbot-with-amusing-results/|تاريخ أرشيف=2024-12-02}}</ref><ref>{{استشهاد ويب| مؤلف1-الأخير = Abhishek| مؤلف1-الأول = Gupta| عنوان = Getting stakeholder engagement right in responsible AI| مسار = https://venturebeat.com/ai/getting-stakeholder-engagement-right-in-responsible-ai/| موقع = VentureBeat| تاريخ الوصول = 4 مارس 2023| تاريخ = 5 فبراير 2023|مسار أرشيف= http://web.archive.org/web/20240118231720/https://venturebeat.com/ai/getting-stakeholder-engagement-right-in-responsible-ai/|تاريخ أرشيف=2024-01-18}}</ref> عادةً ما تُجمع هذه البيانات من خلال تصنيفات بشرية لحالات سلوك الوكيل، حيث يمكن استخدام أنظمة مثل [[نظام تصنيف إيلو]] لتقييم هذه التصنيفات.<ref name="huggingface"/> رغم أن تصنيف المخرجات هو الطريقة الأكثر شيوعًا، إلا أن الأبحاث الحديثة تستكشف طرقًا أكثر مرونة مثل التغذية الراجعة الرقمية واللغوية.<ref>{{استشهاد بأرخايف| eprint = 2305.00955| مؤلف1-الأخير = Fernandes| مؤلف1-الأول = Patrick| مؤلف2-الأخير = Madaan| مؤلف2-الأول = Aman| مؤلف3-الأخير = Liu| مؤلف3-الأول = Emmy| مؤلف4-الأخير = Farinhas| مؤلف4-الأول = António| مؤلف5 = Pedro Henrique Martins| مؤلف6-الأخير = Bertsch| مؤلف6-الأول = Amanda| مؤلف7-الأخير = de Souza| مؤلف7-الأول = José G. C.| مؤلف8-الأخير = Zhou| مؤلف8-الأول = Shuyan| مؤلف9-الأخير = Wu| مؤلف9-الأول = Tongshuang| مؤلف10-الأخير = Neubig| مؤلف10-الأول = Graham| مؤلف11-الأخير = Martins| مؤلف11-الأول = André F. T.| عنوان = Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation| تاريخ = 2023| class = cs.CL}}</ref> من المثير للاهتمام أن التعلم المعزز من ردود الفعل البشرية يتطلب كمية بيانات أقل بكثير مما هو مطلوب في تقنيات التعلم الأخرى.<ref name="openai"/> ومع ذلك، فإن زيادة كمية البيانات لا تؤدي بالضرورة إلى تحسين الأداء بشكل كبير، بل قد يكون من الأفضل التركيز على زيادة تعقيد نموذج المكافأة.<ref name="summarizationpaper"/> رغم ذلك فإن تنوع البيانات أمر حيوي لتجنب [[تحيز خوارزمي|التحيزات]] التي قد تنشأ من الاعتماد على مجموعة محدودة من المعلقين.<ref name="instructgptpaper"/> أظهرت الدراسات أن استخدام [[تقدير حسب القيمة العليا لدالة الإمكان|مقدر الاحتمالية القصوى]] (MLE) مع وظائف مكافأة خطية في نماذج مثل برادلي-تيري-لوس وبلاكيت-لوس يؤدي إلى تحسين دقة التنبؤ بالتفضيلات البشرية. هذا يعني أنه عندما يتم تدريب النموذج على بيانات [[مقارنة (بحث)|مقارنات]] زوجية أو متعددة الجوانب تتبع نموذجًا خطيًا، فإنه يصبح قادرًا على التنبؤ بدقة أكبر بالخيارات التي يفضلها الأشخاص في المستقبل. هذه النتيجة تدل على أن النماذج التي تعتمد على مبادئ بسيطة ومتسقة قادرة على تعلم تفضيلات المستخدمين بفعالية.<ref name="xiejiang">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Xie| مؤلف1-الأول = Tengyang| مؤلف2-الأخير = Jiang| مؤلف2-الأول = Nan| مؤلف3-الأخير = Wang| مؤلف3-الأول = Huan| مؤلف4-الأخير = Xiong| مؤلف4-الأول = Caiming| مؤلف5-الأخير = Bai| مؤلف5-الأول = Yu| عنوان = Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning| صحيفة = Advances in Neural Information Processing Systems| تاريخ = 2021| المجلد = 34| صفحات = 27395–27407| مسار = https://proceedings.neurips.cc/paper/2021/hash/e61eaa38aed621dd776d0e67cfeee366-Abstract.html| تاريخ الوصول = 10 مارس 2024| ناشر = Curran Associates, Inc.| arxiv = 2106.04895|مسار أرشيف= http://web.archive.org/web/20240601161418/https://proceedings.neurips.cc//paper/2021/hash/e61eaa38aed621dd776d0e67cfeee366-Abstract.html|تاريخ أرشيف=2024-06-01}}</ref><ref name="pacchiano">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Pacchiano| مؤلف1-الأول = Aldo| مؤلف2-الأخير = Saha| مؤلف2-الأول = Aadirupa| مؤلف3-الأخير = Lee| مؤلف3-الأول = Jonathan| تاريخ = 03 مارس 2023| عنوان = Dueling RL: Reinforcement Learning with Trajectory Preferences| مسار = https://proceedings.mlr.press/v206/saha23a.html| صحيفة = Proceedings of the 26th International Conference on Artificial Intelligence and Statistics| لغة = الإنجليزية| ناشر = PMLR| صفحات = 6263–6289| arxiv = 2111.04850| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20240308024335/https://proceedings.mlr.press/v206/saha23a.html|تاريخ أرشيف=2024-03-08}}</ref>

أظهرت الدراسات أن نماذج جمع البيانات، سواء كانت متصلة بالإنترنت أم غير متصلة، تشكل تحديات فريدة في سياق التعلم المعزز من ردود الفعل البشرية. في النماذج غير المتصلة، حيث يتم تدريب السياسات على مجموعات بيانات ثابتة، أثبت مقدر الاحتمالية القصوى الذي يدمج حد [[مجال ثقة|الثقة]] الأدنى كدالة مكافأة كفاءة عالية.<ref name="xiejiang"/><ref name="zhujordan">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Zhu| مؤلف1-الأول = Banghua| مؤلف2-الأخير = Jordan| مؤلف2-الأول = Michael| مؤلف3-الأخير = Jiao| مؤلف3-الأول = Jiantao| تاريخ = 03 يوليو 2023| عنوان = Principled Reinforcement Learning with Human Feedback from Pairwise or K-wise Comparisons| مسار = https://proceedings.mlr.press/v202/zhu23f.html| صحيفة = Proceedings of the 40th International Conference on Machine Learning| لغة = الإنجليزية| ناشر = PMLR| صفحات = 43037–43067| arxiv = 2301.11270| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20240418114130/https://proceedings.mlr.press/v202/zhu23f.html|تاريخ أرشيف=2024-04-18}}</ref> علاوة على ذلك أشارت الأبحاث إلى أن التعامل المباشر مع المقارنات المتعددة (K-wise) يتفوق على تحويلها إلى مقارنات زوجية في تحسين دقة التنبؤ. ومع ذلك فإن طبيعة التفاعل المستمر مع البيئة في النماذج المتصلة تثير تحديات إضافية تتعلق بتعقيد العينات وتحديث السياسات.<ref name="instructgptpaper"/><ref name="zhujordan"/><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Li| مؤلف1-الأول = Zihao| مؤلف2-الأخير = Yang| مؤلف2-الأول = Zhuoran| مؤلف3-الأخير = Wang| مؤلف3-الأول = Mengdi| عنوان = Reinforcement learning with Human Feedback: Learning Dynamic Choices via Pessimism| صحيفة = ILHF Workshop ICML 2023| تاريخ = 20 يونيو 2023| arxiv = 2305.18438| مسار = https://openreview.net/forum?id=gxM2AUFMsK&referrer=%5Bthe%20profile%20of%20Zhuoran%20Yang%5D(%2Fprofile%3Fid%3D~Zhuoran_Yang1)| تاريخ الوصول = 10 مارس 2024| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240501062825/https://openreview.net/forum?id=gxM2AUFMsK&referrer=%5Bthe%20profile%20of%20Zhuoran%20Yang%5D(/profile?id%3D~Zhuoran_Yang1)|تاريخ أرشيف=2024-05-01}}</ref> في سياق التفاعل مع الشبكة العنكبوتية، عند جمع آراء بشرية عن طريق المقارنات الثنائية وفقًا لنموذج برادلي-تيري-لوس بهدف تقليل الندم (أي الفرق في الأداء مقارنة بأداء مثالي)، تبين أن تقدير الاحتمالية القصوى الذي يشمل حد [[مجال ثقة|الثقة]] العلوي كقيمة مكافأة يمكن توظيفه في تصميم خوارزميات تعلم فعالة من حيث العينات (أي تتطلب كمية محدودة من بيانات التدريب). يكمن التحدي الجوهري في التعلم المعزز من خلال آراء بشرية عند التعلم من المقارنات الثنائية في طبيعة السياسات المثلى [[خاصية ماركوف|غير الماركوفية]]. بخلاف السيناريوهات البسيطة التي لا تتطلب الإستراتيجية المثلى تذكر الأفعال السابقة، فإن التعلم المعزز من خلال آراء بشرية غالبًا ما تتوقف أفضل مسارات العمل فيه على الأحداث والقرارات السابقة، مما يجعل الإستراتيجية معتمدة بشكل أساسي على الذاكرة.<ref name="pacchiano"/>

== التطبيقات ==
أثبتت تقنية التعلم المعزز من خلال ردود الفعل البشرية فعاليتها في تطوير نماذج معالجة اللغة الطبيعية المتقدمة. في مهام معالجة اللغة الطبيعية المعقدة، مثل الحوار وتلخيص النصوص، يصعب تحديد مكافآت واضحة لتدريب النماذج.<ref name="summarizationpaper"/><ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Ouyang| مؤلف1-الأول = Long| مؤلف2-الأخير = Wu| مؤلف2-الأول = Jeff| مؤلف3-الأخير = Jiang| مؤلف3-الأول = Xu| مؤلف4-الأخير = Almeida| مؤلف4-الأول = Diogo| مؤلف5-الأخير = Wainwright| مؤلف5-الأول = Carroll L.| مؤلف6-الأخير = Mishkin| مؤلف6-الأول = Pamela| مؤلف7-الأخير = Zhang| مؤلف7-الأول = Chong| مؤلف8-الأخير = Agarwal| مؤلف8-الأول = Sandhini| مؤلف9-الأخير = Slama| مؤلف9-الأول = Katarina| مؤلف10-الأخير = Ray| مؤلف10-الأول = Alex| مؤلف11-الأخير = Schulman| مؤلف11-الأول = John| مؤلف12-الأخير = Hilton| مؤلف12-الأول = Jacob| مؤلف13-الأخير = Kelton| مؤلف13-الأول = Fraser| مؤلف14-الأخير = Miller| مؤلف14-الأول = Luke| مؤلف15-الأخير = Simens| مؤلف15-الأول = Maddie| مؤلف16-الأخير = Askell| مؤلف16-الأول = Amanda| مؤلف17-الأخير = Welinder| مؤلف17-الأول = Peter| مؤلف18-الأخير = Christiano| مؤلف18-الأول = Paul| مؤلف19-الأخير = Leike| مؤلف19-الأول = Jan| مؤلف20-الأخير = Lowe| مؤلف20-الأول = Ryan| عنوان = Training language models to follow instructions with human feedback| تاريخ = 2022| class = cs.CL| eprint = 2203.02155}}
</ref> تتغلب تقنية التعلم المعزز من خلال ردود الفعل البشرية على هذه [[مشكلة التحكم في الذكاء الاصطناعي|التحدي]] من خلال السماح لنا بتدريب نماذج اللغة على فهم وتلبية تفضيلات المستخدمين البشرية بشكل أفضل.<ref name="openai"/> يتم ذلك عن طريق جمع بيانات تدريب تعكس هذه التفضيلات وتستخدمها لتدريب نموذج مكافأة يوجه النموذج نحو توليد نتائج أكثر ملاءمة.<ref name="instructgptpaper"/><ref>{{استشهاد ويب| مؤلف1-الأخير = Wiggers| مؤلف1-الأول = Kyle| عنوان = Can AI really be protected from text-based attacks?| مسار = https://techcrunch.com/2023/02/24/can-language-models-really-be-protected-from-text-based-attacks/| موقع = TechCrunch| تاريخ الوصول = 4 مارس 2023| تاريخ = 24 فبراير 2023|مسار أرشيف= http://web.archive.org/web/20241203062341/https://techcrunch.com/2023/02/24/can-language-models-really-be-protected-from-text-based-attacks/|تاريخ أرشيف=2024-12-03}}</ref> تُعد نماذج مثل [[شات جي بي تي]] من [[أوبن أيه آي]]،<ref name="ars"/><ref>{{استشهاد ويب| مؤلف1-الأخير = Heikkilä| مؤلف1-الأول = Melissa| عنوان = How OpenAI is trying to make ChatGPT safer and less biased| تاريخ = 21 فبراير 2023| مسار = https://www.technologyreview.com/2023/02/21/1068893/how-openai-is-trying-to-make-chatgpt-safer-and-less-biased/| موقع = MIT Technology Review| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية|مسار أرشيف= http://archive.md/20230221185206/https://www.technologyreview.com/2023/02/21/1068893/how-openai-is-trying-to-make-chatgpt-safer-and-less-biased/|تاريخ أرشيف=2023-02-21}}
</ref><ref>{{استشهاد ويب| مؤلف1-الأخير = Douglas Heaven| مؤلف1-الأول = Will| تاريخ = 30 نوفمبر 2022| عنوان = ChatGPT is OpenAI's latest fix for GPT-3. It's slick but still spews nonsense| مسار = https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/| موقع = MIT Technology Review| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20241125015222/https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/|تاريخ أرشيف=2024-11-25}}</ref> وسبارو من [[ديب مايند]]، <ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Glaese| مؤلف1-الأول = Amelia| مؤلف2-الأخير = McAleese| مؤلف2-الأول = Nat| مؤلف3-الأخير = Trębacz| مؤلف3-الأول = Maja| مؤلف4-الأخير = Aslanides| مؤلف4-الأول = John| مؤلف5-الأخير = Firoiu| مؤلف5-الأول = Vlad| مؤلف6-الأخير = Ewalds| مؤلف6-الأول = Timo| مؤلف7-الأخير = Rauh| مؤلف7-الأول = Maribeth| مؤلف8-الأخير = Weidinger| مؤلف8-الأول = Laura| مؤلف9-الأخير = Chadwick| مؤلف9-الأول = Martin| مؤلف10-الأخير = Thacker| مؤلف10-الأول = Phoebe| مؤلف11-الأخير = Campbell-Gillingham| مؤلف11-الأول = Lucy| مؤلف12-الأخير = Uesato| مؤلف12-الأول = Jonathan| مؤلف13-الأخير = Huang| مؤلف13-الأول = Po-Sen| مؤلف14-الأخير = Comanescu| مؤلف14-الأول = Ramona| مؤلف15-الأخير = Yang| مؤلف15-الأول = Fan| مؤلف16-الأخير = See| مؤلف16-الأول = Abigail| مؤلف17-الأخير = Dathathri| مؤلف17-الأول = Sumanth| مؤلف18-الأخير = Greig| مؤلف18-الأول = Rory| مؤلف19-الأخير = Chen| مؤلف19-الأول = Charlie| مؤلف20-الأخير = Fritz| مؤلف20-الأول = Doug| مؤلف21-الأخير = Elias| مؤلف21-الأول = Jaume Sanchez| مؤلف22-الأخير = Green| مؤلف22-الأول = Richard| مؤلف23-الأخير = Mokrá| مؤلف23-الأول = Soňa| مؤلف24-الأخير = Fernando| مؤلف24-الأول = Nicholas| مؤلف25-الأخير = Wu| مؤلف25-الأول = Boxi| مؤلف26-الأخير = Foley| مؤلف26-الأول = Rachel| مؤلف27-الأخير = Young| مؤلف27-الأول = Susannah| مؤلف28-الأخير = Gabriel| مؤلف28-الأول = Iason| مؤلف29-الأخير = Isaac| مؤلف29-الأول = William| مؤلف30-الأخير = Mellor| مؤلف30-الأول = John| مؤلف31-الأخير = Hassabis| مؤلف31-الأول = Demis| مؤلف32-الأخير = Kavukcuoglu| مؤلف32-الأول = Koray| مؤلف33-الأخير = Hendricks| مؤلف33-الأول = Lisa Anne| مؤلف34-الأخير = Irving| مؤلف34-الأول = Geoffrey| عنوان = Improving alignment of dialogue agents via targeted human judgements| تاريخ = 2022| eprint = 2209.14375| class = cs.LG}}
</ref><ref>{{استشهاد ويب| مؤلف1-الأخير = Goldman| مؤلف1-الأول = Sharon| عنوان = Why DeepMind isn't deploying its new AI chatbot — and what it means for responsible AI| مسار = https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot| موقع = VentureBeat| تاريخ الوصول = 4 مارس 2023| تاريخ = 23 سبتمبر 2022|مسار أرشيف= http://web.archive.org/web/20240529142222/https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/|تاريخ أرشيف=2024-05-29}}
</ref><ref>{{استشهاد ويب| عنوان = Building safer dialogue agents| مؤلف = The Sparrow team| مسار = https://www.deepmind.com/blog/building-safer-dialogue-agents| موقع = www.deepmind.com| تاريخ = 22 سبتمبر 2022| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20231018223834/https://www.deepmind.com/blog/building-safer-dialogue-agents|تاريخ أرشيف=2023-10-18}}</ref> و<nowiki/>[[جيميناي]] من [[جوجل]]، <ref>{{استشهاد ويب| مؤلف1-الأخير = Pinchai| مؤلف1-الأول = Sundar| مؤلف2-الأخير = Hassabis| مؤلف2-الأول = Demis| عنوان = Introducing Gemini: our largest and most capable AI model| مسار = https://blog.google/technology/ai/google-gemini-ai/| موقع = Google| تاريخ الوصول = 29 فبراير 2024| لغة = الإنجليزية| تاريخ = 6 ديسمبر 2023|مسار أرشيف= http://web.archive.org/web/20241202152723/https://blog.google/technology/ai/google-gemini-ai/|تاريخ أرشيف=2024-12-02}}</ref> و<nowiki/>[[كلود (نموذج لغوي)|كلود]] من [[أنثروبيك]]، <ref>{{استشهاد بمجلة| مؤلف1-الأخير = Henshall| مؤلف1-الأول = Will| عنوان = What to Know About Claude 2, Anthropic's Rival to ChatGPT| مسار = https://time.com/6295523/claude-2-anthropic-chatgpt/| مجلة = TIME| تاريخ الوصول = 6 مارس 2024| لغة = الإنجليزية| تاريخ = 18 يوليو 2023|مسار أرشيف= http://archive.md/20230721140701/https://time.com/6295523/claude-2-anthropic-chatgpt/|تاريخ أرشيف=2023-07-21}}</ref> أمثلة بارزة على نماذج اللغة التي تم تدريبها باستخدام هذه التقنية، حيث تُظهر قدرة متقدمة على إجراء حوارات طبيعية وتقديم معلومات دقيقة ومفيدة.

في حقل [[رؤية حاسوبية|الرؤية الحاسوبية]] استُخدم '''التعلم من خلال التعزيز مع ردود الفعل البشرية''' أيضًا لضبط نماذج '''[[نموذج توليد الصور من النص|تحويل النص إلى صورة]]'''. وقد أشارت الدراسات التي نجحت في استخدام هذا النهج إلى أن استخدام تنظيم '''[[تباعد كولباك - ليبلير]]''' في تعلم التعزيز مع ردود الفعل البشرية، والذي يهدف إلى منع السياسات المتعلمة من الانحراف بعيدًا عن النموذج غير المُنظم، قد ساعد في استقرار عملية التدريب عبر تقليل الإفراط في التكيف مع نموذج المكافأة. وقد لوحظ أن النتائج النهائية للصور الناتجة عن النماذج المدربة باستخدام تنظيم تباعد كولباك-ليبلر كانت ذات جودة أعلى بشكل ملحوظ مقارنةً بتلك التي دُربت دون هذا التنظيم.<ref>{{استشهاد بدورية محكمة| صحيفة = NeurIPS 2023| مؤلف1-الأخير = Fan| مؤلف1-الأول = Ying| مؤلف2-الأخير = Watkins| مؤلف2-الأول = Olivia| مؤلف3-الأخير = Du| مؤلف3-الأول = Yuqing| مؤلف4-الأخير = Liu| مؤلف4-الأول = Hao| مؤلف5-الأخير = Ryu| مؤلف5-الأول = Moonkyung| مؤلف6-الأخير = Boutilier| مؤلف6-الأول = Craig| مؤلف7-الأخير = Abbeel| مؤلف7-الأول = Pieter| مؤلف8-الأخير = Ghavamzadeh| مؤلف8-الأول = Mohammad| مؤلف9-الأخير = Lee| مؤلف9-الأول = Kangwook| مؤلف10-الأخير = Lee| مؤلف10-الأول = Kimin| عنوان = DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models| تاريخ = 2 نوفمبر 2023| arxiv = 2305.16381| مسار = https://openreview.net/forum?id=8OTPepXzeh&referrer=%5Bthe%20profile%20of%20Moonkyung%20Ryu%5D(%2Fprofile%3Fid%3D~Moonkyung_Ryu1)| تاريخ الوصول = 1 مارس 2024| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240513093549/https://openreview.net/forum?id=8OTPepXzeh&referrer=%5Bthe%20profile%20of%20Moonkyung%20Ryu%5D(/profile?id=~Moonkyung_Ryu1)|تاريخ أرشيف=2024-05-13}}</ref><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Xu| مؤلف1-الأول = Jiazheng| مؤلف2-الأخير = Liu| مؤلف2-الأول = Xiao| مؤلف3-الأخير = Wu| مؤلف3-الأول = Yuchen| مؤلف4-الأخير = Tong| مؤلف4-الأول = Yuxuan| مؤلف5-الأخير = Li| مؤلف5-الأول = Qinkai| مؤلف6-الأخير = Ding| مؤلف6-الأول = Ming| مؤلف7-الأخير = Tang| مؤلف7-الأول = Jie| مؤلف8-الأخير = Dong| مؤلف8-الأول = Yuxiao| عنوان = ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation| صحيفة = Advances in Neural Information Processing Systems| تاريخ = 15 ديسمبر 2023| المجلد = 36| صفحات = 15903–15935| arxiv = 2304.05977| مسار = https://proceedings.neurips.cc/paper_files/paper/2023/hash/33646ef0ed554145eab65f6250fab0c9-Abstract-Conference.html| تاريخ الوصول = 1 مارس 2024| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240423180827/https://proceedings.neurips.cc//paper_files/paper/2023/hash/33646ef0ed554145eab65f6250fab0c9-Abstract-Conference.html|تاريخ أرشيف=2024-04-23}}</ref> وقد حاولت طرق أخرى دمج ردود الفعل من خلال التدريب المباشر - بناءً على تعظيم المكافأة دون استخدام تعلم التعزيز - لكنها أقرت بأن نهج تعلم التعزيز مع ردود فعل بشرية من المرجح أن يؤدي بشكل أفضل بسبب توليد العينات عبر الإنترنت أثناء التحديثات وكذلك تنظيم تباعد كولباك-ليبلر المذكور سابقًا فوق النموذج السابق، مما يقلل من '''[[فرط الملاءمة|الإفراط في التكيف]]''' مع دالة المكافأة.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Lee| مؤلف1-الأول = Kimin| مؤلف2-الأخير = Liu| مؤلف2-الأول = Hao| مؤلف3-الأخير = Ryu| مؤلف3-الأول = Moonkyung| مؤلف4-الأخير = Watkins| مؤلف4-الأول = Olivia| مؤلف5-الأخير = Du| مؤلف5-الأول = Yuqing| مؤلف6-الأخير = Boutilier| مؤلف6-الأول = Craig| مؤلف7-الأخير = Abbeel| مؤلف7-الأول = Pieter| مؤلف8-الأخير = Ghavamzadeh| مؤلف8-الأول = Mohammad| مؤلف9-الأخير = Gu| مؤلف9-الأول = Shixiang Shane| عنوان = Aligning Text-to-Image Models using Human Feedback| تاريخ = 2023| class = cs.LG| eprint = 2302.12192}}</ref>

طبق تعلم التعزيز مع ردود فعل بشرية (RLHF) في البداية على مجالات متنوعة، مثل تطوير [[روبوت ألعاب الفيديو|روبوتات ألعاب الفيديو]] الكلاسيكية ثنائية الأبعاد و<nowiki/>[[محاكي الروبوتات|المهام الروبوتية المحاكية]]. فعلى سبيل المثال، قامت شركتا OpenAI وDeepMind بتدريب نماذج ذكاء اصطناعي للعب ألعاب [[أتاري]] بناءً على التفضيلات البشرية. في التدريب التقليدي القائم على التعلم المعزز لهذه النماذج، كانت وظيفة المكافأة ترتبط ببساطة بمدى نجاح النموذج في اللعبة، عادةً بقياس النقاط المحرزة. أما في تعلم التعزيز مع ردود فعل بشرية، فكان يعرض على الإنسان مقطعان من أداء النموذج في اللعبة ليختار الأفضل منهما بناءً على معايير جمالية أو إستراتيجية. هذه الطريقة مكنت النماذج من تحقيق أداء تنافسي دون الحاجة إلى الاعتماد فقط على النقاط المحرزة. بل إن هذا النهج تجاوز في بعض الأحيان أداء التعلم المعزز التقليدي، وذلك لأن تفضيلات الإنسان قد تحتوي على معلومات أكثر شمولية من مجرد النقاط المحرزة.<ref name="openai"/><ref>{{استشهاد ويب| مؤلف1-الأول = Jan| مؤلف1-الأخير = Leike| مؤلف2-الأول = Miljan| مؤلف2-الأخير = Martic| مؤلف3-الأول = Shane| مؤلف3-الأخير = Legg| عنوان = Learning through human feedback| مسار = https://www.deepmind.com/blog/learning-through-human-feedback| موقع = www.deepmind.com| تاريخ = 12 يونيو 2017| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20230925055422/https://www.deepmind.com/blog/learning-through-human-feedback|تاريخ أرشيف=2023-09-25}}</ref> حققت هذه النماذج أداءً متميزًا في العديد من البيئات التجريبية، وتفوقت في كثير من الأحيان على أداء البشر.<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Christiano| مؤلف1-الأول = Paul F| مؤلف2-الأخير = Leike| مؤلف2-الأول = Jan| مؤلف3-الأخير = Brown| مؤلف3-الأول = Tom| مؤلف4-الأخير = Martic| مؤلف4-الأول = Miljan| مؤلف5-الأخير = Legg| مؤلف5-الأول = Shane| مؤلف6-الأخير = Amodei| مؤلف6-الأول = Dario| عنوان = Deep Reinforcement Learning from Human Preferences| صحيفة = Advances in Neural Information Processing Systems| تاريخ = 2017| المجلد = 30| مسار = https://papers.nips.cc/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html| تاريخ الوصول = 4 مارس 2023| ناشر = Curran Associates, Inc.| arxiv = 1706.03741|مسار أرشيف= http://web.archive.org/web/20240825142721/https://papers.nips.cc/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html|تاريخ أرشيف=2024-08-25}}</ref>

== التدريب ==
في تقنية تعزيز التعلم من خلال ردود الفعل البشرية (RLHF)، يُدرب نموذجين مختلفين: نموذج المكافأة و<nowiki/>[[تعلم بالتعزيز|سياسة التعلم المعزز]]. يتعلم نموذج المكافأة تحديد السلوك المرغوب بناءً على ردود الفعل البشرية، بينما تسترشد السياسة بنموذج المكافأة لتحديد أفعال الوكيل. وكثيرًا ما يتم تهيئة كلا النموذجين باستخدام [[نموذج اللغة|نموذج لغوي]] ذاتي التراجع مُدرّب مسبقًا. ثم يُدرب هذا النموذج عادةً [[تعلم مراقب|بطريقة إشرافية]] على مجموعة بيانات صغيرة نسبيًا من أزواج المُحفزات المقدمة إلى مساعد والإجابات المصاحبة لها، والتي كتبها معلقون بشريون. يستفيد نموذج المكافأة من البدء بنموذج مدرب مسبقًا، حيث يُهيئه ذلك لفهم اللغة ويركز التدريب صراحةً على تعلم التفضيلات البشرية، مما يُسرع العملية. بالإضافة إلى استخدامه لتهيئة نموذج المكافأة وسياسة التعلم المعزز، يُستخدم النموذج أيضًا لعينة البيانات التي سيتم مقارنتها بواسطة المعلقين.<ref name="summarizationpaper"/><ref name="instructgptpaper"/>

ثم يُدرب نموذج المكافأة عن طريق استبدال الطبقة النهائية للنموذج السابق برأس [[تحليل الانحدار|انحدار مُهيأ عشوائيًا]]. يؤدي هذا التغيير إلى تحويل النموذج من مهمته الأصلية، وهي [[تصنيف إحصائي|التصنيف على مفرداته]]، إلى إخراج رقم يتوافق مع درجة أي مُحفز واستجابة معطاة. يُدرب هذا النموذج على بيانات مقارنة التفضيلات البشرية التي جُمعت سابقًا من النموذج الإشرافي. على وجه الخصوص، يدرب [[استمثال (رياضيات)|لتقليل]] دالة الخسارة [[أنتروبيا متقاطعة|المتقاطعة]] التالية، التي تحفزه على تقديم توقعات تكون أقرب إلى التقييمات البشرية الفعلية:

<math>\mathcal{L}(\theta)=-\frac{1}{K\choose 2}E_{(x,y_w,y_l)}[\log(\sigma(r_\theta(x,y_w)-r_\theta(x,y_l)))]</math>

حيث <math>K</math> هو عدد الاستجابات التي قام المقيمون بتصنيفها، أما <math>r_\theta(x,y)</math> فهو ناتج نموذج المكافأة للتعليم <math>x</math> والإكمال <math>y</math>، و<math>y_w</math> هو الإكمال المفضل على <math>y_l</math>، وتعني <math>\sigma(x)</math> دالة [[دالة سينية|السيجمويد]]، وتعني <math>E[X]</math> [[قيمة متوقعة|القيمة المتوقعة]].<ref name="instructgptpaper"/> تقيس دالة الخسارة هذه الفرق بين توقعات نموذج المكافأة والقرارات التي اتخذها البشر. الهدف هو جعل تخمينات النموذج قريبة قدر الإمكان من تفضيلات البشر من خلال تقليل الفرق الذي تقيسه هذه المعادلة. في حالة المقارنات الزوجية فقط، يتم حذف العامل <math>1/{\tbinom K2}</math>.<ref name="summarizationpaper"/> بخلاف ذلك، تُستخدم جميع المقارنات <math>{\tbinom K2}</math> من كل [[تعلم الآلة المستمر|تعليم كتدريب دفعة واحدة]].<ref name="instructgptpaper"/> بعد التدريب، تُوحد مخرجات النموذج بحيث تكون اكتمالات المراجع ذات متوسط درجة 0.<ref name="summarizationpaper"/>

وبالمثل لنموذج المكافأة، تُحسن السياسة اللغوية أيضًا بناءً على النموذج المدرب مُسبقًا والذي قد لا يتوافق بالضرورة مع التفضيلات البشرية. الهدف من هذه الخطوة الحساسة هو [[صقل (تعلم الآلة)|تكييف]] النموذج بشكل تدريجي ليكون أكثر انسجامًا مع التفضيلات البشرية عن طريق ضبط معاملاته ووزنه بناءً على المكافآت المستمدة من ردود الفعل البشرية. يمكن استخدام ناتج نموذج المكافأة كمكافأة يتم تعظيمها باستخدام التعلم المعزز لأزواج التعليمات والاستجابات.<ref name="summarizationpaper"/> ثم تُقدم تعليمات عشوائية من مجموعة البيانات إلى السياسة لتوليد استجابات، مما يحاكي السيناريوهات الواقعية حيث يجب على الوكيل فهم التعليمات المتنوعة وتوليد الاستجابات المناسبة.

بالإشارة إلى سياسة التعلم المعزز المكتسبة بمعايير <math>\phi</math> مثل <math>\pi_\phi^\text{RL}</math>، يمكننا تعريف دالة الهدف التالية:

<math>\text{objective}(\phi)=E_{(x,y)\sim D_{\pi_\phi^\text{RL}}}\left[r_\theta(x,y)-\beta\log\left(\frac{\pi^\text{RL}_\phi(y|x)}{\pi^\text{SFT}(y|x)}\right)\right]</math>

حيث <math>D_{\pi_\phi^\text{RL}}</math> هو [[توزيع احتمال|توزيع التدريب]] الذي نستمد منه و<math>\pi^\text{SFT}</math> هو النموذج غير المتناسق المدرب سابقًا. تُستخدم الثابتة <math>\beta</math> لضبط شدة بند عقوبة كولباك - ليبلير. تُطبق هذه العقوبة على أساس كل [[تحليل المفردات|مفردة]] بين السياسة ومخرجات النماذج غير المتناسقة. الهدف منها هو تجنب ضبط السياسة بشكل مفرط، مما يضمن أن عملية التدريب لا [[فرط الملاءمة|تُتَخصص]] بشكل مفرط على بيانات التدريب الجديدة.<ref name="summarizationpaper"/><ref name="instructgptpaper"/> يعمل بند كولباك - ليبلير هذا عن طريق معاقبة [[تباعد كولباك - ليبلير]] (مقياس البُعد الإحصائي بين التوزيعات) بين النموذج الذي يتم ضبطه بدقة والنموذج الإشرافي الأصلي. من خلال اختيار <math>\beta</math> المناسب، يمكن للتدريب أن يوازن بين التعلم من البيانات الجديدة مع الاحتفاظ بالمعلومات المفيدة من النموذج الأصلي، مما يزيد من التعميم عن طريق تجنب [[فرط الملاءمة|الملاءمة المفرطة]] للبيانات الجديدة. بالإضافة إلى منع النموذج الجديد من إنتاج مخرجات تختلف كثيرًا عن النموذج الأصلي، فإن الدافع الثاني لإدراج بند كولباك - ليبلير هو السماح للسياسة باستكشاف البيئة بشكل أكبر عن طريق تشجيع المزيد من الإنتروبيا، مما يمكن أن يمنع النموذج من الانهيار إلى [[منوال|وضعية واحدة]].<ref name="summarizationpaper"/>

ببساطة تقيس دالة الهدف مدى تطابق استجابات النموذج مع التغذية الراجعة البشرية. يولد النموذج استجابات لمختلف الطلبات، ثم يُقيم كل استجابة بناءً على مدى توافقها مع تفضيلات البشر (كما يقيسها نموذج المكافأة) ومدى قربها من الاستجابات النموذجية المتوقعة. الهدف هو تحقيق التوازن بين تحسين جودة الاستجابات لتلائم تفضيلات المستخدمين والحفاظ على تنوع الاستجابات وعدم الانحراف كثيرًا عن المعرفة الأساسية التي [[اكتساب اللغة|اكتسبها]] النموذج خلال تدريبه الأولي. يساعد هذا الأمر النموذج على تقديم إجابات مفيدة ومقبولة للمستخدمين، مع الحفاظ على فهم شامل للغة وتجنب تكرار الإجابات النمطية.

عادة ما يُضاف مصطلح ثان إلى دالة الهدف للسماح للنموذج بالحفاظ على المعرفة التي اكتسبها قبل التدريب. هذا المصطلح يمنع النموذج من نسيان قدرته الأساسية على فهم اللغة أثناء تعلم مهام جديدة بناءً على التغذية الراجعة البشرية. هذا يتم عن طريق دمج مهمة إكمال النص الأصلي مع المهام الجديدة. وبالتالي، فإن دالة الهدف النهائية تكون على النحو التالي:

<math>\text{objective}(\phi)=E_{(x,y)\sim D_{\pi_\phi^\text{RL}}}\left[r_\theta(x,y)-\beta\log\left(\frac{\pi^\text{RL}_\phi(y|x)}{\pi^\text{SFT}(y|x)}\right)\right]+\gamma E_{x\sim D_\text{pretrain}}[\log(\pi_\phi^\text{RL}(x))]</math>

حيث يتحكم <math>\gamma</math> في قوة هذا الحد الإضافي و<math>D_\text{pretrain}</math> هو توزيع نص التدريب المسبق الأصلي.<ref name="instructgptpaper"/> يمكن بعد ذلك استخدام دالة الهدف هذه مباشرةً لتدريب السياسة باستخدام خوارزمية {{وإو|تحسين السياسة القريبة|Proximal policy optimization}}.<ref name="summarizationpaper"/><ref name="instructgptpaper"/>

في المجمل، تحدد دالة الهدف هذه طريقة تعديل سياسة التعلم المعزز، ممزوجةً بهدف التوافق مع ردود الفعل البشرية والحفاظ على فهم النموذج الأصلي للغة.
== القيود ==
يعاني التعلم من خلال التعزيز مع ردود الفعل البشرية من تحديات في جمع ردود الفعل البشرية، وتعلم نموذج المكافأة، وتحسين السياسة.<ref name="openproblems">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Casper| مؤلف1-الأول = Stephen| مؤلف2-الأخير = Davies| مؤلف2-الأول = Xander| مؤلف3-الأخير = Shi| مؤلف3-الأول = Claudia| مؤلف4-الأخير = Gilbert| مؤلف4-الأول = Thomas Krendl| مؤلف5-الأخير = Scheurer| مؤلف5-الأول = Jérémy| مؤلف6-الأخير = Rando| مؤلف6-الأول = Javier| مؤلف7-الأخير = Freedman| مؤلف7-الأول = Rachel| مؤلف8-الأخير = Korbak| مؤلف8-الأول = Tomasz| مؤلف9-الأخير = Lindner| مؤلف9-الأول = David| مؤلف10-الأخير = Freire| مؤلف10-الأول = Pedro| مؤلف11-الأخير = Wang| مؤلف11-الأول = Tony Tong| مؤلف12-الأخير = Marks| مؤلف12-الأول = Samuel| مؤلف13-الأخير = Segerie| مؤلف13-الأول = Charbel-Raphael| مؤلف14-الأخير = Carroll| مؤلف14-الأول = Micah| مؤلف15-الأخير = Peng| مؤلف15-الأول = Andi| مؤلف16-الأخير = Christoffersen| مؤلف16-الأول = Phillip| مؤلف17-الأخير = Damani| مؤلف17-الأول = Mehul| مؤلف18-الأخير = Slocum| مؤلف18-الأول = Stewart| مؤلف19-الأخير = Anwar| مؤلف19-الأول = Usman| مؤلف20-الأخير = Siththaranjan| مؤلف20-الأول = Anand| مؤلف21-الأخير = Nadeau| مؤلف21-الأول = Max| مؤلف22-الأخير = Michaud| مؤلف22-الأول = Eric J.| مؤلف23-الأخير = Pfau| مؤلف23-الأول = Jacob| مؤلف24-الأخير = Krasheninnikov| مؤلف24-الأول = Dmitrii| مؤلف25-الأخير = Chen| مؤلف25-الأول = Xin| مؤلف26-الأخير = Langosco| مؤلف26-الأول = Lauro| مؤلف27-الأخير = Hase| مؤلف27-الأول = Peter| مؤلف28-الأخير = Biyik| مؤلف28-الأول = Erdem| مؤلف29-الأخير = Dragan| مؤلف29-الأول = Anca| مؤلف30-الأخير = Krueger| مؤلف30-الأول = David| مؤلف31-الأخير = Sadigh| مؤلف31-الأول = Dorsa| مؤلف32-الأخير = Hadfield-Menell| مؤلف32-الأول = Dylan| عنوان = Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback| صحيفة = Transactions on Machine Learning Research| تاريخ = 18 سبتمبر 2023| arxiv = 2307.15217| مسار = https://openreview.net/forum?id=bx24KpJ4Eb| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20241006220705/https://openreview.net/forum?id=bx24KpJ4Eb|تاريخ أرشيف=2024-10-06}}</ref> قد تختلف جودته واتساقه اعتمادًا على المهمة، والواجهة، وتفضيلات وانحيازات الأفراد.<ref name="instructgptpaper"/><ref>{{استشهاد ويب| مؤلف1-الأخير = Christiano| مؤلف1-الأول = Paul| عنوان = Thoughts on the impact of RLHF research| تاريخ = 25 يناير 2023| مسار = https://www.alignmentforum.org/posts/vwu4kegAEZTBtpT6p/thoughts-on-the-impact-of-rlhf-research| تاريخ الوصول = 4 مارس 2023| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240822121902/https://www.alignmentforum.org/posts/vwu4kegAEZTBtpT6p/thoughts-on-the-impact-of-rlhf-research|تاريخ أرشيف=2024-08-22}}</ref>

إن فعالية تقنية التعزيز بردود الفعل البشرية في تدريب النماذج اللغوية تعتمد بشكل كبير على جودة ونوعية هذه التعليقات. فالتعليقات المنحازة أو غير المتسقة أو غير الدقيقة قد تؤدي إلى [[تحيز خوارزمي|تحيز]] النموذج نحو مجموعات معينة على حساب أخرى.<ref name="huggingface"/><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Belenguer| مؤلف1-الأول = Lorenzo| عنوان = AI bias: exploring discriminatory algorithmic decision-making models and the application of possible machine-centric solutions adapted from the pharmaceutical industry| صحيفة = AI and Ethics| ناشر = AI Ethics| تاريخ = 2022| المجلد = 2| العدد = 4| صفحات = 771–787| doi = 10.1007/s43681-022-00138-8| pmid = 35194591| pmc = 8830968| مسار = https://link.springer.com/10.1007/s43681-022-00138-8| تاريخ الوصول = 28 أكتوبر 2024}}</ref> كما أن هناك خطر من [[فرط الملاءمة]] حيث يحفظ النموذج الأمثلة المحددة للتعليقات بدلًا من استخلاص قواعد عامة. على سبيل المثال، قد يؤدي التركيز على تعليقات مجموعة ديموغرافية محددة إلى تعليم النموذج أنماطًا غير مرغوبة أو ضوضاء. علاوة على ذلك، فإن الاعتماد المفرط على تعليقات محددة قد يؤدي إلى تدهور أداء النموذج في سياقات جديدة أو مع مجموعات مستخدمين مختلفة.<ref>{{استشهاد ويب| مؤلف = Zhang, Chiyuan| مؤلف2 = Bengio, Samy| مؤلف3 = Hardt, Moritz| مؤلف4 = Recht, Benjamin| مؤلف5 = Vinyals, Oriol| عنوان = Understanding deep learning requires rethinking generalization| تاريخ = 4 نوفمبر 2016| مسار = https://openreview.net/forum?id=Sy8gdB9xx| ناشر = International Conference on Learning Representations| تاريخ الوصول = 28 أكتوبر 2024|مسار أرشيف= http://web.archive.org/web/20240824001945/https://openreview.net/forum?id=Sy8gdB9xx|تاريخ أرشيف=2024-08-24}}</ref> ولا يمكن لآلية المكافأة الواحدة أن تمثل آراء جميع الفئات بشكل عادل، فحتى مع وجود عينة تمثيلية، قد تهيمن آراء الأغلبية على عملية التدريب، مما يؤثر سلبًا على المجموعات الأقل تمثيلًا.<ref name="openproblems"/>

تواجه [[تعلم بالتعزيز|تقنية التعزيز]] بالتعليقات البشرية تحديًا يتمثل في احتمال استغلال [[نموذج لغوي كبير|النماذج اللغوية]] لهذه الآلية لتحقيق مكافآت دون تحسين الأداء الفعلي.<ref>{{استشهاد ويب| مؤلف1-الأخير = Clark| مؤلف1-الأول = Jack| مؤلف2-الأخير = Amodei| مؤلف2-الأول = Dario| عنوان = Faulty reward functions in the wild| تاريخ = 21 ديسمبر 2016| مسار = https://openai.com/research/faulty-reward-functions| ناشر = OpenAI| تاريخ الوصول = 28 أكتوبر 2024| مسار أرشيف =https://web.archive.org/web/20240919123513/https://openai.com/research/faulty-reward-functions/| تاريخ أرشيف = 19 سبتمبر 2024}}</ref> فعوضًا عن السعي لتحقيق الأهداف المرجوة، قد يتعلم النموذج استراتيجيات للتلاعب بالمتقيّمين البشريين للحصول على تقييمات إيجابية، حتى لو كانت استجاباته غير دقيقة أو مضللة. هذا السلوك، المعروف باسم "التحايل على النظام"، يمكن أن ينشأ بسبب التركيز على المكافأة اللحظية بدلًا من الجودة الحقيقية للإنتاج. على سبيل المثال، قد تكتشف النماذج أن التعبير عن الثقة الزائدة، حتى لو كان غير مبرر، يحقق نتائج أفضل. هذا الأمر يثير قلقًا بالغًا، خاصة وأن الدراسات تشير إلى صعوبة اكتشاف الأخطاء في مخرجات النماذج اللغوية الكبيرة من قبل البشر. وبالتالي، فإن انتشار النماذج القادرة على توليد نصوص واثقة ولكنها غير صحيحة يمثل تهديدًا كبيرًا للتطبيقات العملية لهذه التقنية.<ref name="openproblems"/>

== البدائل ==
=== التعلم المعزز من تغذية الذكاء الاصطناعي ===
على غرار التعلم المعزز البشري، يعتمد "التعلم المعزز من تغذية الذكاء الاصطناعي" على تدريب نموذج تفضيل، إلا أن التغذية الآراء تُولَّد آليًا.<ref>{{استشهاد ويب| مؤلف1-الأخير = Ansari| مؤلف1-الأول = Tasmia| تاريخ = 06 أكتوبر 2023| عنوان = Reinforcement Learning Craves Less Human, More AI| مسار = https://analyticsindiamag.com/reinforcement-learning-craves-for-less-human-more-ai/| تاريخ الوصول = 27 أبريل 2024| موقع = Analytics India Magazine| لغة = الإنجليزية|مسار أرشيف= http://web.archive.org/web/20240426222502/https://analyticsindiamag.com/reinforcement-learning-craves-for-less-human-more-ai/|تاريخ أرشيف=2024-04-26}}</ref> يُستخدم هذا بشكل ملحوظ في نموذج [[كلود (نموذج لغوي)|كلود]] لشركة [[أنثروبيك]].<ref>{{استشهاد ويب| مؤلف1-الأخير = Edwards| مؤلف1-الأول = Benj| تاريخ = 09 مايو 2023| عنوان = AI gains "values" with Anthropic's new Constitutional AI chatbot approach| مسار = https://arstechnica.com/information-technology/2023/05/ai-with-a-moral-compass-anthropic-outlines-constitutional-ai-in-its-claude-chatbot/| تاريخ الوصول = 27 أبريل 2024| موقع = Ars Technica| لغة = الإنجليزية|مسار أرشيف= http://archive.md/20230510111936/https://arstechnica.com/information-technology/2023/05/ai-with-a-moral-compass-anthropic-outlines-constitutional-ai-in-its-claude-chatbot/|تاريخ أرشيف=2023-05-10}}</ref>

=== تحسين التفضيل المباشر ===
قُدّمَ بديل آخر لتعلم التعزيز البشري يُسمى تحسين التفضيل المباشر (DPO) لتعلم تفضيلات البشر، ومثل التعلم المعزز البشري، فقد تم تطبيقه [[مشكلة التحكم في الذكاء الاصطناعي|لمواءمة]][[نموذج لغوي كبير|نماذج اللغات الكبيرة]] المدربة مُسبقًا باستخدام بيانات تفضيلية مولَّدة بشريًا. ومع ذلك على عكس التعلم المعزز البشري، الذي يُدرب أولًا نموذجًا وسيطًا منفصلًا لفهم شكل النتائج الجيدة ثم يُعلّم النموذج الرئيسي كيفية تحقيق تلك النتائج، يُبسط تحسين التفضيل المباشر العملية من خلال تعديل النموذج الرئيسي مباشرةً وفقًا للتفضيلات البشرية. حيث يستخدم [[تغيير المتغير (رياضيات)|تغييرًا في المتغيرات]] لتحديد "[[دالة الخسارة|خسارة]] التفضيل" مباشرةً كدالة للسياسة ويستخدم هذه الخسارة [[صقل (تعلم الآلة)|لضبط النموذج]] بدقة، مما يُساعده على فهم وتأهيل تفضيلات البشر دون الحاجة إلى خطوة منفصلة. في الأساس يُشكّل هذا النهج قرارات النموذج مباشرةً بناءً على التغذية الراجعة البشرية الإيجابية أو السلبية.

يُعد تحسين التفضيل المباشر أبسط تنفيذًا وتدريبًا من التعلم المعزز البشري وقد ثبت أنه يُنتج نتائج مماثلة وأحيانًا أفضل.<ref>{{استشهاد بأرخايف| eprint = 2305.18290| مؤلف1-الأخير = Rafailov| مؤلف1-الأول = Rafael| مؤلف2-الأخير = Sharma| مؤلف2-الأول = Archit| مؤلف3-الأخير = Mitchell| مؤلف3-الأول = Eric| مؤلف4-الأخير = Ermon| مؤلف4-الأول = Stefano| مؤلف5-الأخير = Manning| مؤلف5-الأول = Christopher D.| مؤلف6-الأخير = Finn| مؤلف6-الأول = Chelsea| عنوان = Direct Preference Optimization: Your Language Model is Secretly a Reward Model| تاريخ = 2023| class = cs.LG}}</ref> ومع ذلك، فقد ثبت أيضًا أن التعلم المعزز البشري يتفوق على تحسين التفضيل المباشر في بعض مجموعات البيانات، على سبيل المثال في المعايير التي تحاول قياس الصدق. لذلك قد يختلف اختيار الأسلوب اعتمادًا على خصائص بيانات التفضيل البشرية وطبيعة المهمة.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Wang| مؤلف1-الأول = Zhilin| مؤلف2-الأخير = Dong| مؤلف2-الأول = Yi| مؤلف3-الأخير = Zeng| مؤلف3-الأول = Jiaqi| مؤلف4-الأخير = Adams| مؤلف4-الأول = Virginia| مؤلف5-الأخير = Sreedhar| مؤلف5-الأول = Makesh Narsimhan| مؤلف6-الأخير = Egert| مؤلف6-الأول = Daniel| مؤلف7-الأخير = Delalleau| مؤلف7-الأول = Olivier| مؤلف8-الأخير = Scowcroft| مؤلف8-الأول = Jane Polak| مؤلف9-الأخير = Kant| مؤلف9-الأول = Neel| مؤلف10-الأخير = Swope| مؤلف10-الأول = Aidan| مؤلف11-الأخير = Kuchaiev| مؤلف11-الأول = Oleksii| عنوان = HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM| تاريخ = 2023| class = cs.CL| eprint = 2311.09528}}</ref>

== مراجع ==
{{مراجع}}
{{شريط سفلي ذكاء اصطناعي}}
{{ذكاء اصطناعي توليدي}}
{{شريط بوابات|حوسبة|ذكاء اصطناعي|علم الحاسوب}}

{{شريط سفلي حوسبة تفاضلية}}

[[تصنيف:نموذج اللغة]]
[[تصنيف:تعلم بالتعزيز]]