عرض مصدر نموذج لغوي كبير

{{تعلم الآلة|الشبكات العصبونية الاصطناعية}}

'''نموذجُ اللّغةِ الكبيرُ''' (اختصارًا '''{{اختصار مخفي|LLM|Large language model}}''') هو [[نموذج|نموذجٌ]] حسابيٌّ قادرٌ على [[ذكاء اصطناعي مولد|توليدِ]] اللّغةِ أو مهامّ [[معالجة اللغة الطبيعية|مُعالجةِ اللّغةِ الطّبيعيةِ]] الأخرى. بصفتها [[نموذج اللغة|نماذجَ لُغوية]]، تكتسبُ نماذجُ اللّغةِ الكبيرةُ هذهِ القدراتِ من خلالِ تعلّمِ العلاقاتِ الإحصائيةِ من كمياتٍ هائلةٍ منَ النّصوصِ أثناءَ عمليةِ [[تعليم ذاتي الإشراف|تدريبٍ ذاتيّةِ الإشرافِ]] و{{Ill-WD2|التعلم شبه المراقب أو الموجه|id=Q65044138|نص=شبهِ مُراقبة}}.<ref name=":7">{{استشهاد بويب | تاريخ = 14 فبراير 2019| عنوان = Better Language Models and Their Implications| مسار = https://openai.com/blog/better-language-models/| حالة المسار = live| مسار أرشيف =https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/| تاريخ أرشيف = 19 ديسمبر 2020| تاريخ الوصول = 25 أغسطس 2019| موقع = OpenAI}}</ref> وتستهلك هذه النماذج موارد حسابية كبيرة أثناء التدريب والتشغيل.<ref name="مولد تلقائيا1">{{استشهاد بويب| عنوان = Better Language Models and Their Implications| مسار = https://openai.com/blog/better-language-models/| تاريخ الوصول = 25 أغسطس 2019| صحيفة = OpenAI| تاريخ = 14 فبراير 2019| مسار أرشيف =https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/| تاريخ أرشيف = 19 ديسمبر 2020| حالة المسار = live}}</ref>

حتى عام 2020 كان [[صقل (تعلم الآلة)|الضبط الدقيق أو الصقل]] هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن [[هندسة فورية|تصميم]] النماذج الأكبر حجمًا، مثل [[جي بي تي-3]]، لتحقيق نتائج مماثلة.<ref name="few-shot-learners">{{استشهاد بدورية محكمة| عنوان = Language Models are Few-Shot Learners| صحيفة = Advances in Neural Information Processing Systems| مسار = https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf| مؤلف = Brown| مؤلف1-الأول = Tom B.| تاريخ = ديسمبر 2020| محرر = Larochelle| محرر-الأول = H.| ناشر = Curran Associates, Inc.| المجلد = 33| صفحات = 1877–1901| مؤلف2 = Mann| مؤلف3 = Ryder| مؤلف4 = Subbiah| مؤلف5 = Kaplan| مؤلف6 = Dhariwal| مؤلف7 = Neelakantan| مؤلف8 = Shyam| مؤلف9 = Sastry| مؤلف2-الأول = Benjamin| مؤلف3-الأول = Nick| مؤلف4-الأول = Melanie| مؤلف5-الأول = Jared| مؤلف6-الأول = Prafulla| مؤلف7-الأول = Arvind| مؤلف8-الأول = Pranav| مؤلف9-الأول = Girish| محرر2 = Ranzato| محرر3 = Hadsell| محرر4 = Balcan| محرر5 = Lin| محرر2-الأول = M.| محرر3-الأول = R.| محرر4-الأول = M.F.| محرر5-الأول = H.| مسار أرشيف =https://web.archive.org/web/20231117204007/https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf| تاريخ أرشيف = 17 نوفمبر 2023| حالة المسار = live| تاريخ الوصول = 16 أكتوبر 2024| صيغة = pdf}}</ref> يُعتقد أنهم يكتسبون [[معرفة مضمنة]] حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية، ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.<ref name="Manning-2022">{{استشهاد بدورية محكمة| عنوان = Human Language Understanding & Reasoning| صحيفة = Daedalus| مسار = https://www.amacad.org/publication/human-language-understanding-reasoning| مؤلف = Manning| مؤلف1-الأول = Christopher D.| مؤلف-وصلة = Christopher D. Manning| سنة = 2022| المجلد = 151| العدد = 2| صفحات = 127–138| s2cid = 248377870| دوي = 10.1162/daed_a_01905| doi-access = free| مسار أرشيف =https://web.archive.org/web/20231117205531/https://www.amacad.org/publication/human-language-understanding-reasoning| تاريخ أرشيف = 17 نوفمبر 2023| حالة المسار = live| تاريخ الوصول = 16 أكتوبر 2024}}</ref><ref name="Bowman">{{استشهاد بأرخايف| أرخايف = 2304.00612| صنف = cs.CL| مؤلف = Bowman| مؤلف1-الأول = Samuel R.| عنوان = Eight Things to Know about Large Language Models| سنة = 2023}}</ref>

أكبرُ نماذجِ اللّغةِ الكبيرةِ وأكثرُها قدرةً، اعتبارًا من أغسطس 2024، هي [[شبكة عصبونية اصطناعية|شبكاتٌ عصبيةٌ اصطناعيةٌ]] مبنيةٌ بِبنيةٍ قائمةٍ على [[محول (تعلم الآلة)|المُحوّلِ]] الخاصّ بِفكّ التشفيرِ فقط،<ref>{{استشهاد بويب| عنوان = What Is a Transformer Model?| مسار = https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/| تاريخ الوصول = 25 يوليو 2023| صحيفة = NVIDIA Blog| تاريخ = 25 مارس 2022| مؤلف = Merritt| مؤلف1-الأول = Rick| لغة = الإنجليزية| مسار أرشيف =https://web.archive.org/web/20231117203924/https://blogs.nvidia.com/blog/what-is-a-transformer-model/| تاريخ أرشيف = 17 نوفمبر 2023| حالة المسار = live}}</ref> ممّا يُتيحُ مُعالجةً فعّالةً وتوليدَ بياناتِ نصيةٍ واسعةَ النّطاق. يُمكنُ [[صقل (تعلم الآلة)|ضبط أو صقل]] النماذجِ الحديثةِ لِمهامّ مُحدّدةٍ أو يُمكنُ توجيهُها بواسطةِ [[هندسة التلقين|هندسةِ المُطالبات]].<ref name="مولد تلقائيا2">{{استشهاد بدورية محكمة | مؤلف1-الأخير = Brown| مؤلف1-الأول = Tom B.| مؤلف2-الأخير = Mann| مؤلف2-الأول = Benjamin| مؤلف3-الأخير = Ryder| مؤلف3-الأول = Nick| مؤلف4-الأخير = Subbiah| مؤلف4-الأول = Melanie| مؤلف5-الأخير = Kaplan| مؤلف5-الأول = Jared| مؤلف6-الأخير = Dhariwal| مؤلف6-الأول = Prafulla| مؤلف7-الأخير = Neelakantan| مؤلف7-الأول = Arvind| مؤلف8-الأخير = Shyam| مؤلف8-الأول = Pranav| مؤلف9-الأخير = Sastry| مؤلف9-الأول = Girish| مؤلف10-الأخير = Askell| مؤلف10-الأول = Amanda| مؤلف11-الأخير = Agarwal| مؤلف11-الأول = Sandhini| مؤلف12-الأخير = Herbert-Voss| مؤلف12-الأول = Ariel| مؤلف13-الأخير = Krueger| مؤلف13-الأول = Gretchen| مؤلف14-الأخير = Henighan| مؤلف14-الأول = Tom| مؤلف15-الأخير = Child| مؤلف15-الأول = Rewon| تاريخ = ديسمبر 2020| محرر1-الأخير = Larochelle| محرر1-الأول = H.| محرر2-الأخير = Ranzato| محرر2-الأول = M.| محرر3-الأخير = Hadsell| محرر3-الأول = R.| محرر4-الأخير = Balcan| محرر4-الأول = M.F.| محرر5-الأخير = Lin| محرر5-الأول = H.| عنوان = Language Models are Few-Shot Learners| مسار = https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf| صحيفة = Advances in Neural Information Processing Systems| ناشر = Curran Associates, Inc.| المجلد = 33| صفحات = 1877–1901| مؤلف25-الأخير = Chess| مؤلف20-الأخير = Hesse| مؤلف20-الأول = Christopher| مؤلف21-الأخير = Chen| مؤلف21-الأول = Mark| مؤلف22-الأخير = Sigler| مؤلف22-الأول = Eric| مؤلف23-الأخير = Litwin| مؤلف23-الأول = Mateusz| مؤلف24-الأخير = Gray| مؤلف24-الأول = Scott| مؤلف26-الأول = Jack| مؤلف25-الأول = Benjamin| مؤلف26-الأخير = Clark| مؤلف19-الأخير = Winter| مؤلف27-الأخير = Berner| مؤلف27-الأول = Christopher| مؤلف28-الأخير = McCandlish| مؤلف28-الأول = Sam| مؤلف29-الأخير = Radford| مؤلف29-الأول = Alec| مؤلف30-الأخير = Sutskever| مؤلف30-الأول = Ilya| مؤلف31-الأخير = Amodei| مؤلف31-الأول = Dario| مؤلف19-الأول = Clemens| مؤلف18-الأول = Jeffrey| مؤلف18-الأخير = Wu| مؤلف16-الأخير = Ramesh| مؤلف16-الأول = Aditya| مؤلف17-الأخير = Ziegler| مؤلف17-الأول = Daniel M.| تاريخ الوصول = 14 مارس 2023| تاريخ أرشيف = 17 نوفمبر 2023| مسار أرشيف =https://web.archive.org/web/20231117204007/https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf| حالة المسار = live| صيغة = pdf}}</ref> تكتسبُ هذهِ النماذجُ قوّةً تنبّؤيةً فيما يتعلّقُ بِالنّحوِ والدّلالاتِ و<nowiki/>[[أنطولوجية (علم المعلومات)|علمِ الوجود]]<ref>{{cite conference | مسار = https://2024.eswc-conferences.org/wp-content/uploads/2024/05/77770034.pdf| عنوان = NeOn-GPT: A Large Language Model-Powered Pipeline for Ontology Learning| مؤلف1-الأخير = Fathallah| مؤلف1-الأول = Nadeen| مؤلف2-الأخير = Das| مؤلف2-الأول = Arunav| مؤلف3-الأخير = De Giorgis| مؤلف3-الأول = Stefano| مؤلف4-الأخير = Poltronieri| مؤلف4-الأول = Andrea| مؤلف5-الأخير = Haase| مؤلف5-الأول = Peter| مؤلف6-الأخير = Kovriguina| مؤلف6-الأول = Liubov| تاريخ = 26 مايو 2024| مكان = Hersonissos, Greece| عنوان المؤتمر = Extended Semantic Web Conference 2024| مسار أرشيف =https://web.archive.org/web/20240816062044/https://2024.eswc-conferences.org/wp-content/uploads/2024/05/77770034.pdf| تاريخ أرشيف = 16 أغسطس 2024| تاريخ الوصول = 07 أكتوبر 2024| صيغة = pdf}}</ref> المُتأصّلِ في مجموعاتِ اللّغةِ البشرية، لكنّها ترثُ أيضًا عدمَ الدّقةِ [[تحيز خوارزمي|والانحيازاتِ]] الموجودةِ في البياناتِ التي جرى تدريبُها عليها.<ref name="مولد تلقائيا3">{{استشهاد بدورية محكمة | مؤلف1-الأخير = Manning| مؤلف1-الأول = Christopher D.| مؤلف-وصلة = Christopher D. Manning| سنة = 2022| عنوان = Human Language Understanding & Reasoning| مسار = https://www.amacad.org/publication/human-language-understanding-reasoning| صحيفة = Daedalus| المجلد = 151| العدد = 2| صفحات = 127–138| doi = 10.1162/daed_a_01905| s2cid = 248377870| doi-access = free| تاريخ الوصول = 09 مارس 2023| تاريخ أرشيف = 17 نوفمبر 2023| مسار أرشيف =https://web.archive.org/web/20231117205531/https://www.amacad.org/publication/human-language-understanding-reasoning| حالة المسار = live}}</ref>

== تاريخ ==
[[ملف:Trends_in_AI_training_FLOP_over_time_(2010-2025).svg|تصغير|حوسبة التّدريب لنماذج بارزة مقاسةً بـ FLOPs مقابل تاريخ النّشر خلال الفترة 2010-2024. النماذج البارزة بشكل عامّ (أعلى اليسار)، ونماذج الطليعة (أعلى اليمين)، ونماذج اللّغة الرّئيسية (أسفل اليسار)، وأفضل النماذج داخل الشركات الرّائدة (أسفل اليمين). غالبية هذه النماذج هي نماذج لغة.]]
[[ملف:Large-scale_AI_training_compute_(FLOP)_vs_Publication_date_(2017-2024).svg|تصغير|حوسبة التّدريب لنماذج الذّكاء الاصطناعيّ الكبيرة البارزة مقاسةً بـ FLOPs مقابل تاريخ النّشر خلال الفترة 2017-2024. غالبية النماذج الكبيرة هي نماذج لغة أو نماذج متعدّدة الوسائط ذات قدرة لغوية.]]

قبل عام 2017، كان عدد نماذج اللغة التي كانت كبيرةً  قليلًا مقارنةً بالقدرات المتاحة حينها. في التسعينيات، كانت نماذج محاذاة IBM رائدةً في النمذجة الإحصائية للغة. حقق نموذج n-gram المحسن في عام 2001، والذي دُرِّب على 0.3 مليار كلمة، حيرةً متطورةً حينها.<ref>{{استشهاد| مؤلف1-الأخير = Goodman| مؤلف1-الأول = Joshua| عنوان = A Bit of Progress in Language Modeling| تاريخ = 09 أغسطس 2001| arxiv = cs/0108005| bibcode = 2001cs........8005G}}</ref> في العقد الأول من القرن الحادي والعشرين، مع انتشار استخدام الإنترنت، أنشأ بعض الباحثين مجموعات بيانات لغة على نطاق الإنترنت ("الويب كجسم نصي" <ref>{{استشهاد بدورية محكمة| عنوان = Introduction to the Special Issue on the Web as Corpus| صحيفة = Computational Linguistics| مسار = https://direct.mit.edu/coli/article/29/3/333-347/1816| مؤلف = Kilgarriff| مؤلف1-الأول = Adam| تاريخ = سبتمبر 2003| المجلد = 29| العدد = 3| صفحات = 333–347| مؤلف2 = Grefenstette| issn = 0891-2017| مؤلف2-الأول = Gregory| دوي = 10.1162/089120103322711569| تاريخ الوصول = 05 أكتوبر 2024| مسار أرشيف =https://web.archive.org/web/20240616043730/https://direct.mit.edu/coli/article/29/3/333-347/1816| تاريخ أرشيف = 16 يونيو 2024}}</ref>)، قاموا بتدريب نماذج اللغة الإحصائية عليها.<ref>{{استشهاد بدورية محكمة| عنوان = The Web as a Parallel Corpus| صحيفة = Computational Linguistics| مسار = https://direct.mit.edu/coli/article/29/3/349-380/1809| مؤلف = Resnik| مؤلف1-الأول = Philip| تاريخ = سبتمبر 2003| المجلد = 29| العدد = 3| صفحات = 349–380| مسار أرشيف =https://web.archive.org/web/20240607172811/https://direct.mit.edu/coli/article/29/3/349-380/1809| تاريخ أرشيف = 07 يونيو 2024| تاريخ الوصول = 07 يونيو 2024| مؤلف2 = Smith| issn = 0891-2017| مؤلف2-الأول = Noah A.| دوي = 10.1162/089120103322711578| حالة المسار = live| doi-access = free}}</ref><ref>{{استشهاد بدورية محكمة| عنوان = Scaling to very very large corpora for natural language disambiguation| صحيفة = Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01| مسار = http://dx.doi.org/10.3115/1073012.1073017| مؤلف = Banko| مؤلف1-الأول = Michele| تاريخ = 2001| مكان = Morristown, NJ, USA| ناشر = Association for Computational Linguistics| صفحات = 26–33| مؤلف2 = Brill| مؤلف2-الأول = Eric| دوي = 10.3115/1073012.1073017| تاريخ الوصول = 05 أكتوبر 2024| مسار أرشيف =https://web.archive.org/web/20240922004033/https://dx.doi.org/10.3115/1073012.1073017| تاريخ أرشيف = 22 سبتمبر 2024}}</ref> في عام 2009، في معظم مهام معالجة اللغة، سيطرت نماذج اللغة الإحصائية على نماذج اللغة الرمزية، حيث يمكنها استيعاب مجموعات بيانات كبيرة بشكل مفيد.<ref>{{استشهاد بدورية محكمة| عنوان = The Unreasonable Effectiveness of Data| صحيفة = IEEE Intelligent Systems| مسار = https://ieeexplore.ieee.org/document/4804817| مؤلف = Halevy| مؤلف1-الأول = Alon| تاريخ = مارس 2009| المجلد = 24| العدد = 2| صفحات = 8–12| مؤلف2 = Norvig| مؤلف3 = Pereira| issn = 1541-1672| مؤلف2-الأول = Peter| مؤلف3-الأول = Fernando| دوي = 10.1109/MIS.2009.36| تاريخ الوصول = 05 أكتوبر 2024| مسار أرشيف =https://web.archive.org/web/20241004115826/https://ieeexplore.ieee.org/document/4804817/| تاريخ أرشيف = 04 أكتوبر 2024}}</ref>

بعد أن أصبحت الشبكات العصبية مهيمنةً في معالجة الصور نحو عام 2012 {{بحاجة لمصدر|تاريخ = أكتوبر 2024}}، طُبقت على نمذجة اللغة أيضًا. حولت جوجل خدمة الترجمة الخاصة بها إلى [[جوجل للترجمة الآلية العصبية|الترجمة الآلية العصبية]] في عام 2016. كما كان الحال قبل المحولات، جرى ذلك بشبكات LSTM العميقة سيك تو سيك.

في مؤتمر مؤتمر نظم معالجة المعلومات العصبية عام 2017، قدم باحثو جوجل بنية المحولات في ورقتهم البحثية البارزة "الاهتمام هو كل ما تحتاجه". كان هدف هذه الورقة هو تحسين تقنية [[سيك تو سيك]] لعام 2014، <ref>{{استشهاد بدورية محكمة| عنوان = Attention is All you Need| صحيفة = Advances in Neural Information Processing Systems| مسار = https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf| مؤلف = Vaswani| مؤلف1-الأول = Ashish| مؤلف-وصلة = Ashish Vaswani| تاريخ = 2017| ناشر = Curran Associates, Inc.| المجلد = 30| مسار أرشيف =https://web.archive.org/web/20240221141113/https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf| تاريخ أرشيف = 21 فبراير 2024| تاريخ الوصول = 21 يناير 2024| مؤلف2 = Shazeer| مؤلف3 = Parmar| مؤلف4 = Uszkoreit| مؤلف5 = Jones| مؤلف6 = Gomez| مؤلف7 = Kaiser| مؤلف8 = Polosukhin| مؤلف2-الأول = Noam| مؤلف3-الأول = Niki| مؤلف4-الأول = Jakob| مؤلف5-الأول = Llion| مؤلف6-الأول = Aidan N| مؤلف7-الأول = Łukasz| مؤلف8-الأول = Illia| مؤلف6-وصلة = Aidan Gomez| حالة المسار = live| صيغة = pdf}}</ref> واستندت بشكل أساسي إلى آلية [[انتباه (تعلم الآلة)|الاهتمام]] التي طورها باهدانو وآخرون في عام 2014.<ref>{{استشهاد بأرخايف| أرخايف = 1409.0473| صنف = cs.CL| مؤلف = Bahdanau| مؤلف1-الأول = Dzmitry| مؤلف2-الأول = Kyunghyun| مؤلف2 = Cho| عنوان = Neural Machine Translation by Jointly Learning to Align and Translate| تاريخ = 2014| مؤلف3 = Bengio| مؤلف3-الأول = Yoshua}}</ref> في العام التالي في عام 2018 قُدّم BERT.<ref>{{استشهاد بدورية محكمة| عنوان = A Primer in BERTology: What We Know About How BERT Works| صحيفة = Transactions of the Association for Computational Linguistics| مسار = https://aclanthology.org/2020.tacl-1.54| مؤلف = Rogers| مؤلف1-الأول = Anna| تاريخ = 2020| المجلد = 8| صفحات = 842–866| مسار أرشيف =https://web.archive.org/web/20220403103310/https://aclanthology.org/2020.tacl-1.54/| تاريخ أرشيف = 03 أبريل 2022| تاريخ الوصول = 21 يناير 2024| مؤلف2 = Kovaleva| مؤلف3 = Rumshisky| مؤلف2-الأول = Olga| مؤلف3-الأول = Anna| أرخايف = 2002.12327| s2cid = 211532403| دوي = 10.1162/tacl_a_00349| حالة المسار = live}}</ref> على الرغم من أن المحول الأصلي يحتوي على كتل التشفير وفك التشفير، إلا أن BERT هو نموذج تشفير فقط.

على الرغم من أن جي بي تي-1 لفك التشفير فقط قُدم في عام 2018، إلا أن جي بي تي-2 في عام 2019 هو الذي لفت الانتباه على نطاق واسع لأن [[أوبن أيه آي]] اعتبرته في البداية قويًا جدًا بحيث لا يمكن إصداره للجمهور، خوفًا من الاستخدام الضار.<ref>{{استشهاد بويب| عنوان = New AI fake text generator may be too dangerous to release, say creators| مسار = https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction| تاريخ الوصول = 20 يناير 2024| صحيفة = [[الغارديان]]| تاريخ = 14 فبراير 2019| مؤلف = Hern| مؤلف1-الأول = Alex| مسار أرشيف =https://web.archive.org/web/20190214173112/https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction| تاريخ أرشيف = 14 فبراير 2019| حالة المسار = live}}</ref> ذهب [[جي بي تي-3]] في عام 2020 إلى أبعد من ذلك، واعتبارًا من عام 2024، أصبح متاحًا فقط عبر [[واجهة برمجة التطبيقات]] دون عرض تنزيل النموذج لتنفيذه محليًا. لكن شات جي بي تي القائم على المتصفح والموجه للمستهلك في عام 2022 أثار خيال عامة الناس وتسبب في بعض الضجيج الإعلامي والضجيج عبر الإنترنت. أُثني على [[جي بي تي-4]] لعام 2023 لدقته المتزايدة وقدراته متعددة الوسائط.<ref>{{استشهاد بويب| عنوان = GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why| مسار = https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/| ناشر = [[إم آي تي تكنولوجي ريفيو]]| تاريخ الوصول = 20 يناير 2024| تاريخ = 14 مارس 2023| مؤلف = Heaven| مؤلف1-الأول = Will| مسار أرشيف =https://web.archive.org/web/20230317224201/https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/| تاريخ أرشيف = 17 مارس 2023| حالة المسار = live| صحيفة = MIT Technology Review}}</ref> لم تكشف أوبن أيه آي عن البنية عالية المستوى وعدد [[وسيط (رياضيات)|معلمات]] جي بي تي-4.

كانت نماذج اللغة المتنافسة تحاول في معظمها مساواة سلسلة GPT، على الأقل من حيث عدد المعلمات.<ref>{{استشهاد بويب| عنوان = Parameters in notable artificial intelligence systems| مسار = https://ourworldindata.org/grapher/artificial-intelligence-parameter-count?time=2017-09-05..latest| تاريخ الوصول = 20 يناير 2024| موقع = ourworldindata.org| تاريخ = 30 نوفمبر 2023| مؤلف = <!--Not stated-->| مسار أرشيف =https://web.archive.org/web/20241006030308/https://ourworldindata.org/grapher/artificial-intelligence-parameter-count?time=2017-09-05..latest| تاريخ أرشيف = 06 أكتوبر 2024}}</ref>

منذ عام 2022، اكتسبت النماذج المتاحة المصدر شعبيةً، وخاصةً في البداية نموذجي BLOOM و[[لاما (نموذج لغوي)|لاما]]، على الرغم من أن كلاهما لديه قيود على مجال الاستخدام. تتمتع نماذج Mistral 7B و<nowiki/>[[ميسترال (ذكاء اصطناعي)|ميسترال]] وMixtral 8x7b، [[رخصة أباتشي|برخصة أباتشي]] أكثر تساهلًا. اعتبارًا من يونيو 2024، يعد النوع المحسن للتعليمات من نموذج "لاما 3" ذي 70 مليار معلمة هو أقوى نموذج لغو كبير مفتوح وفقًا لقائمة المتصدرين في LMSYS Chatbot Arena، حيث أنهأقوى من جي بي تي-3.5 ولكنه ليس بنفس قوة جي بي تي-4.<ref>{{استشهاد بويب| عنوان = LMSYS Chatbot Arena Leaderboard| مسار = https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard| تاريخ الوصول = 12 يونيو 2024| موقع = huggingface.co| مؤلف = <!--Not stated-->| مسار أرشيف =https://web.archive.org/web/20240610162906/https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard| تاريخ أرشيف = 10 يونيو 2024| حالة المسار = live}}</ref>

تعتمد النماذج الأكبر حجمًا والأكثر كفاءة على بنية Transformer في 2024، بينما تعتمد بعض التطبيقات الحديثة على هياكل معمارية أخرى، مثل متغيرات [[الشبكات العصبية المتكررة|الشبكة العصبية المتكررة]] ومامبا (نموذج [[تمثيل المتجهات الفضائي|مساحة الحالة]]).<ref>{{cite arXiv | eprint = 2305.13048| مؤلف1-الأخير = Peng| مؤلف1-الأول = Bo| مؤلف2-الأخير = Alcaide| مؤلف2-الأول = Eric| مؤلف3-الأخير = Anthony| مؤلف3-الأول = Quentin| مؤلف4-الأخير = Albalak| مؤلف4-الأول = Alon| مؤلف5-الأخير = Arcadinho| مؤلف5-الأول = Samuel| مؤلف6-الأخير = Biderman| مؤلف6-الأول = Stella| مؤلف7-الأخير = Cao| مؤلف7-الأول = Huanqi| مؤلف8-الأخير = Cheng| مؤلف8-الأول = Xin| مؤلف9-الأخير = Chung| مؤلف9-الأول = Michael| مؤلف10-الأخير = Grella| مؤلف10-الأول = Matteo| مؤلف11 = Kranthi Kiran GV| مؤلف12-الأخير = He| مؤلف12-الأول = Xuzheng| مؤلف13-الأخير = Hou| مؤلف13-الأول = Haowen| مؤلف14-الأخير = Lin| مؤلف14-الأول = Jiaju| مؤلف15-الأخير = Kazienko| مؤلف15-الأول = Przemyslaw| مؤلف16-الأخير = Kocon| مؤلف16-الأول = Jan| مؤلف17-الأخير = Kong| مؤلف17-الأول = Jiaming| مؤلف18-الأخير = Koptyra| مؤلف18-الأول = Bartlomiej| مؤلف19-الأخير = Lau| مؤلف19-الأول = Hayden| author20 = Krishna Sri Ipsit Mantri| مؤلف21-الأخير = Mom| مؤلف21-الأول = Ferdinand| مؤلف22-الأخير = Saito| مؤلف22-الأول = Atsushi| مؤلف23-الأخير = Song| مؤلف23-الأول = Guangyu| مؤلف24-الأخير = Tang| مؤلف24-الأول = Xiangru| مؤلف25-الأخير = Wang| مؤلف25-الأول = Bolun| مؤلف26-الأخير = Wind| مؤلف26-الأول = Johan S.| مؤلف27-الأخير = Wozniak| مؤلف27-الأول = Stanislaw| مؤلف28-الأخير = Zhang| مؤلف28-الأول = Ruichong| مؤلف29-الأخير = Zhang| مؤلف29-الأول = Zhenyuan| مؤلف30-الأخير = Zhao| مؤلف30-الأول = Qihang| عنوان = RWKV: Reinventing RNNS for the Transformer Era| تاريخ = 2023| class = cs.CL| إظهار المؤلفين = 1}}</ref><ref>{{استشهاد بويب | مؤلف1-الأخير = Merritt| مؤلف1-الأول = Rick| تاريخ = 25 مارس 2022| عنوان = What Is a Transformer Model?| مسار = https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/| تاريخ الوصول = 25 يوليو 2023| موقع = NVIDIA Blog| تاريخ أرشيف = 17 نوفمبر 2023| مسار أرشيف =https://web.archive.org/web/20231117203924/https://blogs.nvidia.com/blog/what-is-a-transformer-model/| حالة المسار = live}}</ref><ref>{{استشهاد | مؤلف1-الأخير = Gu| مؤلف1-الأول = Albert| عنوان = Mamba: Linear-Time Sequence Modeling with Selective State Spaces| تاريخ = 01 ديسمبر 2023| arxiv = 2312.00752| مؤلف2-الأخير = Dao| مؤلف2-الأول = Tri}}</ref>

== معالجة البيانات المُسبقة ==
=== التجزئة ===
بما أن خوارزميات [[تعلم الآلة|التعلم الآلي]] تعتمد على المعالجة الرقمية للمعلومات، فإنه من الضروري تحويل النصوص إلى تمثيل رقمي. تجري هذه العملية من خلال عدة خطوات: أولًا، تُحدد مجموعة من المفردات اللغوية، ثم يُعيّن لكل مفردة رمز رقمي فريد، وفي النهاية يرتبط هذا الرمز بتضمين رقمي يحمل معنى دلالي للمفردة. من أشهر الخوارزميات المستخدمة في هذه العملية [[ترميز زوج البايتات]] (BPE) وخوارزمية WordPiece. بالإضافة إلى ذلك، تُستخدم نماذج اللغة رموزًا خاصة [[محرف تحكم|لأغراض التحكم]]، مثل رمز <code>[MASK]</code> الذي يستخدم في نماذج مثل تمثيلات التشفير الثنائي الاتجاه من المحولات (BERT) لتمثيل الكلمات المحذوفة، ورمز <code>[UNK]</code> لتمثيل الكلمات غير المعروفة. كما تستخدم بعض النماذج رموزًا خاصة لتمثيل جوانب شكلية للنص، مثل الرمز "Ġ" الذي يشير إلى مسافة بيضاء سابقة في نموذج جي بي تي، والرمز "##" الذي يشير إلى استمرار جزء من كلمة في نموذج "بيرت".<ref>{{استشهاد| مؤلف1-الأخير = Kaushal| مؤلف1-الأول = Ayush| عنوان = What do tokens know about their characters and how do they know it?| تاريخ = 06 يونيو 2022| مسار = https://arxiv.org/abs/2206.02608| تاريخ الوصول = 08 سبتمبر 2024| arxiv = 2206.02608| مؤلف2-الأخير = Mahowald| مؤلف2-الأول = Kyle| مسار أرشيف =https://web.archive.org/web/20240908065808/https://arxiv.org/abs/2206.02608| تاريخ أرشيف = 08 سبتمبر 2024}}</ref>

تساهم عملية التجزئة أيضًا في [[ضغط بيانات|ضغط البيانات]]. نظرًا لضرورة أن تكون مدخلات نماذج اللغة الكبيرة [[مصفوفة (حوسبة)|مصفوفات]] ذات أبعاد متساوية، فإن النصوص الأقصر تُعبأ لتتطابق أطوالها مع أطول نص في المجموعة. يعتمد متوسط عدد الرموز الرقمية اللازمة لتمثيل كل كلمة على طبيعة اللغة المستخدمة في مجموعة البيانات.<ref>{{استشهاد بويب| مسار = https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized| عنوان = All languages are NOT created (tokenized) equal| مؤلف = Yennie Jun| تاريخ = 03 مايو 2023| تاريخ الوصول = 17 أغسطس 2023| اقتباس = In other words, to express the same sentiment, some languages require up to 10 times more tokens.| موقع = Language models cost much more in some languages than others| تاريخ أرشيف = 17 أغسطس 2023| مسار أرشيف =https://web.archive.org/web/20230817165705/https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized| حالة المسار = dead}}</ref><ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Petrov| مؤلف1-الأول = Aleksandar| مؤلف2-الأخير = Malfa| مؤلف2-الأول = Emanuele La| مؤلف3-الأخير = Torr| مؤلف3-الأول = Philip| مؤلف4-الأخير = Bibi| مؤلف4-الأول = Adel| تاريخ = 23 يونيو 2023| عنوان = Language Model Tokenizers Introduce Unfairness Between Languages| مسار = https://openreview.net/forum?id=Pj4YYuxTq9| صحيفة = NeurIPS| arxiv = 2305.15425| عبر = openreview.net| تاريخ الوصول = 16 سبتمبر 2023| تاريخ أرشيف = 15 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231215212906/https://openreview.net/forum?id=Pj4YYuxTq9| حالة المسار = live}}</ref>

==== ترميز زوج البايتات ====
{{مفصلة|ترميز زوج البايتات}}
لنفترض أن لدينا مجزئًا للكلمات مبنيًا على ترميز أزواج البايتات. في الخطوة الأولى، نعامل كل حرف مستقل (بما في ذلك الفراغات وعلامات [[ترقيم|الترقيم]]) كوحدة لغوية أساسية (أي أحاديات). ثم نقوم بدمج زوجي الحروف الأكثر تكرارًا المتجاورين لتكوين وحدات لغوية مكونة من حرفين (ثنائيات)، ونستبدل كل زوج بمثيله من الثنائيات. بعد ذلك، نكرر هذه العملية لدمج الثنائيات المتكررة المتجاورة لتكوين وحدات لغوية أطول، وهكذا حتى نحصل على مجموعة محددة من الوحدات اللغوية (في حالة نموذج [[جي بي تي-3]]، يبلغ عددها 50257).<ref name="xbiWb">{{استشهاد بويب| عنوان = OpenAI API| مسار = https://platform.openai.com/| مسار أرشيف =https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer| تاريخ أرشيف = 23 أبريل 2023| تاريخ الوصول = 30 أبريل 2023| موقع = platform.openai.com}}</ref> بعد تدريب هذا المجزئ، يمكننا تجزئة أي نص، بشرط ألا يحتوي على أحرف غير موجودة في المجموعة الأساسية للأحرف المفردة.<ref name="2022Book_">{{استشهاد بكتاب| مؤلف1-الأخير = Paaß| مؤلف1-الأول = Gerhard| عنوان = Foundation Models for Natural Language Processing| مؤلف2-الأخير = Giesselbach| مؤلف2-الأول = Sven| تاريخ = 2022| isbn = 9783031231902| سلسلة = Artificial Intelligence: Foundations, Theory, and Algorithms| صفحات = 19–78| الفصل = Pre-trained Language Models| doi = 10.1007/978-3-031-23190-2_2| مسار الفصل = https://doi.org/10.1007/978-3-031-23190-2_2| تاريخ أرشيف = 03 أغسطس 2023| مسار أرشيف =https://web.archive.org/web/20230803212329/https://doi.org/10.1007/978-3-031-23190-2_2| حالة المسار = live| مسار = https://doi.org/10.1007/978-3-031-23190-2_2| تاريخ الوصول = 07 أكتوبر 2024}}</ref>

==== المشاكل ====
تعتمد المفردات من الرموز المميزة القائمة على التكرارات المستخرجة بشكل أساسي من مجموعات اللغة الإنجليزية على أقل عدد ممكن من الرموز المميزة لكلمة إنجليزية متوسطة. ومع ذلك، عند تشفير كلمة متوسطة بلغة أخرى، فإن مجزئ اللغة الإنجليزية المحسن يقسمها إلى عدد غير مثالي من الرموز المميزة. وقد يصل عدد الرموز المميزة التي يستخدمها مجزئ جي بي تي-2 لكلمة واحدة في بعض اللغات، [[لغة شان|كالشأنية]]، إلى خمسة عشر ضعفًا. وحتى اللغات الأكثر انتشارًا كالبرتغالية والألمانية تتطلب زيادة بنسبة خمسين بالمئة في عدد الرموز المميزة مقارنة باللغة الإنجليزية.<ref>{{استشهاد بأرخايف| eprint = 2305.15425| مؤلف1-الأخير = Petrov| مؤلف1-الأول = Aleksandar| مؤلف2 = Emanuele La Malfa| مؤلف3-الأخير = Torr| مؤلف3-الأول = Philip H. S.| مؤلف4-الأخير = Bibi| مؤلف4-الأول = Adel| عنوان = Language Model Tokenizers Introduce Unfairness Between Languages| تاريخ = 2023| class = cs.CL}}</ref>

وتتسبب هذه التجزئة المفرطة في مشكلات طفيفة عند إكمال النص.<ref>{{استشهاد بويب| مؤلف1-الأخير = Lundberg| مؤلف1-الأول = Scott| تاريخ = 12 ديسمبر 2023| عنوان = The Art of Prompt Design: Prompt Boundaries and Token Healing| مسار = https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38| تاريخ الوصول = 05 أغسطس 2024| موقع = Medium| لغة = الإنجليزية| مسار أرشيف =https://web.archive.org/web/20240805052232/https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38| تاريخ أرشيف = 05 أغسطس 2024}}</ref>

=== تنظيف مجموعة البيانات ===
{{مفصلة|تنظيف البيانات}}

في سياق تدريب نماذج اللغات الكبيرة، يُعتاد تنقية مجموعات البيانات بإزالة المقاطع الضارة منها، والتخلص من البيانات ذات الجودة المتدنية، وإزالة التكرارات.<ref name="aYNg4">{{استشهاد بأرخايف| eprint = 2104.08758| class = cs.CL| مؤلف1-الأول = Jesse| مؤلف1-الأخير = Dodge| مؤلف2-الأول = Maarten| مؤلف2-الأخير = Sap| عنوان = Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus| مؤلف3-الأخير = Marasović| مؤلف3-الأول = Ana| مؤلف4-الأخير = Agnew| مؤلف4-الأول = William| مؤلف5-الأخير = Ilharco| مؤلف5-الأول = Gabriel| مؤلف6-الأخير = Groeneveld| مؤلف6-الأول = Dirk| مؤلف7-الأخير = Mitchell| مؤلف7-الأول = Margaret| مؤلف8-الأخير = Gardner| مؤلف8-الأول = Matt| سنة = 2021}}</ref> إن مجموعات البيانات المنقاة هذه تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء في المراحل اللاحقة.<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Lee| مؤلف1-الأول = Katherine| مؤلف2-الأخير = Ippolito| مؤلف2-الأول = Daphne| مؤلف3-الأخير = Nystrom| مؤلف3-الأول = Andrew| مؤلف4-الأخير = Zhang| مؤلف4-الأول = Chiyuan| مؤلف5-الأخير = Eck| مؤلف5-الأول = Douglas| مؤلف6-الأخير = Callison-Burch| مؤلف6-الأول = Chris| مؤلف7-الأخير = Carlini| مؤلف7-الأول = Nicholas| تاريخ = مايو 2022| عنوان = Deduplicating Training Data Makes Language Models Better| مسار = https://aclanthology.org/2022.acl-long.577.pdf| صحيفة = Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics| المجلد = 1: Long Papers| صفحات = 8424–8445| doi = 10.18653/v1/2022.acl-long.577| مسار أرشيف =https://web.archive.org/web/20240930190133/https://aclanthology.org/2022.acl-long.577.pdf| تاريخ أرشيف = 30 سبتمبر 2024| تاريخ الوصول = 07 أكتوبر 2024| صيغة = pdf}}</ref><ref>{{استشهاد| مؤلف1-الأخير = Li| مؤلف1-الأول = Yuanzhi| عنوان = Textbooks Are All You Need II: phi-1.5 technical report| تاريخ = 11 سبتمبر 2023| arxiv = 2309.05463| مؤلف2-الأخير = Bubeck| مؤلف2-الأول = Sébastien| مؤلف3-الأخير = Eldan| مؤلف3-الأول = Ronen| مؤلف4-الأخير = Del Giorno| مؤلف4-الأول = Allie| مؤلف5-الأخير = Gunasekar| مؤلف5-الأول = Suriya| مؤلف6-الأخير = Lee| مؤلف6-الأول = Yin Tat}}</ref> ويمكن الاستعانة بنموذج لغة كبيرة مدرب لتنقية مجموعات البيانات المستخدمة في تدريب نموذج لغة كبير آخر.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Lin| مؤلف1-الأول = Zhenghao| عنوان = Rho-1: Not All Tokens Are What You Need| تاريخ = 11 أبريل 2024| eprint = 2404.07965| مؤلف2-الأخير = Gou| مؤلف2-الأول = Zhibin| مؤلف3-الأخير = Gong| مؤلف3-الأول = Yeyun| مؤلف4-الأخير = Liu| مؤلف4-الأول = Xiao| مؤلف5-الأخير = Shen| مؤلف5-الأول = Yelong| مؤلف6-الأخير = Xu| مؤلف6-الأول = Ruochen| مؤلف7-الأخير = Lin| مؤلف7-الأول = Chen| مؤلف8-الأخير = Yang| مؤلف8-الأول = Yujiu| مؤلف9-الأخير = Jiao| مؤلف9-الأول = Jian| class = cs.CL}}</ref>

مع تزايد المحتوى الذي تولده نماذج اللغات الكبيرة على الشبكة العنكبوتية، قد يشمل تنقية البيانات مستقبلًا تصفية هذا المحتوى. ويشكل المحتوى المولَّد آليًا تحديًا خاصًا، إذ يصعب تمييزه عن النصوص البشرية، ولكنه يقلل من جودة النماذج المدربة عليه.<ref name="qbFw1">{{استشهاد بأرخايف| eprint = 2005.14165| class = cs.CL| مؤلف1-الأول = Tom B.| مؤلف1-الأخير = Brown| مؤلف2-الأول = Benjamin| مؤلف2-الأخير = Mann| عنوان = Language Models are Few-Shot Learners| مؤلف3-الأخير = Ryder| مؤلف3-الأول = Nick| مؤلف4-الأخير = Subbiah| مؤلف4-الأول = Melanie| مؤلف5-الأخير = Kaplan| مؤلف5-الأول = Jared| مؤلف6-الأخير = Dhariwal| مؤلف6-الأول = Prafulla| مؤلف7-الأخير = Neelakantan| مؤلف7-الأول = Arvind| مؤلف8-الأخير = Shyam| مؤلف8-الأول = Pranav| مؤلف9-الأخير = Sastry| مؤلف9-الأول = Girish| مؤلف10-الأخير = Askell| مؤلف10-الأول = Amanda| مؤلف11-الأخير = Agarwal| مؤلف11-الأول = Sandhini| مؤلف12-الأخير = Herbert-Voss| مؤلف12-الأول = Ariel| مؤلف13-الأخير = Krueger| مؤلف13-الأول = Gretchen| مؤلف14-الأخير = Henighan| مؤلف14-الأول = Tom| مؤلف15-الأخير = Child| مؤلف15-الأول = Rewon| مؤلف16-الأخير = Ramesh| مؤلف16-الأول = Aditya| مؤلف17-الأخير = Ziegler| مؤلف17-الأول = Daniel M.| مؤلف18-الأخير = Wu| مؤلف18-الأول = Jeffrey| مؤلف19-الأخير = Winter| مؤلف19-الأول = Clemens| مؤلف20-الأخير = Hesse| مؤلف20-الأول = Christopher| مؤلف21-الأخير = Chen| مؤلف21-الأول = Mark| مؤلف22-الأخير = Sigler| مؤلف22-الأول = Eric| مؤلف23-الأخير = Litwin| مؤلف23-الأول = Mateusz| مؤلف24-الأخير = Gray| مؤلف24-الأول = Scott| مؤلف25-الأخير = Chess| مؤلف25-الأول = Benjamin| مؤلف26-الأخير = Clark| مؤلف26-الأول = Jack| مؤلف27-الأخير = Berner| مؤلف27-الأول = Christopher| مؤلف28-الأخير = McCandlish| مؤلف28-الأول = Sam| مؤلف29-الأخير = Radford| مؤلف29-الأول = Alec| مؤلف30-الأخير = Sutskever| مؤلف30-الأول = Ilya| سنة = 2020| إظهار المؤلفين = 1}}</ref>
=== البيانات الاصطناعية ===
قد يتطلب تدريب نماذج اللغة الكبيرة كميات هائلة من البيانات اللغوية تتجاوز ما هو متوفر بشكل طبيعي. أو قد تكون البيانات الطبيعية غير كافية من حيث الجودة للمهمة المطلوبة. في مثل هذه الحالات، يمكن اللجوء إلى البيانات المولدة. فعلى سبيل المثال، دُرّبت سلسلة نماذج اللغة الكبيرة (Phi) من [[مايكروسوفت]] على بيانات شبيهة بكتب المدرسة ولّدها نموذج لغوي كبير آخر.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Abdin| مؤلف1-الأول = Marah| عنوان = Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone| تاريخ = 23 أبريل 2024| eprint = 2404.14219| مؤلف2-الأخير = Jacobs| مؤلف2-الأول = Sam Ade| مؤلف3-الأخير = Awan| مؤلف3-الأول = Ammar Ahmad| مؤلف4-الأخير = Aneja| مؤلف4-الأول = Jyoti| مؤلف5-الأخير = Awadallah| مؤلف5-الأول = Ahmed| مؤلف6-الأخير = Awadalla| مؤلف6-الأول = Hany| مؤلف7-الأخير = Bach| مؤلف7-الأول = Nguyen| مؤلف8-الأخير = Bahree| مؤلف8-الأول = Amit| مؤلف9-الأخير = Bakhtiari| مؤلف9-الأول = Arash| class = cs.CL}}</ref>

== التدريب والبنية ==
{{أيضا|صقل (تعلم الآلة)}}

=== التعلّم المعزّز من ردود الفعل البشرية (RLHF) ===
تعتمد تقنية [[التعلم المعزز من ردود الفعل البشرية]] (RLHF) على تعزيز تعلم النموذج من خلال ملاحظات بشرية مباشرة، حيث تُستخدم خوارزميات متقدمة كتقريب تحسين السياسة لتحسين أداء النموذج بشكل تدريجي. يجري ذلك من خلال تدريب النموذج على مجموعة بيانات واسعة من التفضيلات البشرية، مما يساهم في تطوير نموذج أكثر توائمًا مع احتياجات المستخدمين.<ref name="instructGPT-paper">{{استشهاد بأرخايف| eprint = 2203.02155| class = cs.CL| مؤلف1-الأول = Long| مؤلف1-الأخير = Ouyang| مؤلف2-الأول = Jeff| مؤلف2-الأخير = Wu| عنوان = Training language models to follow instructions with human feedback| تاريخ = 2022| مؤلف3-الأخير = Jiang| مؤلف3-الأول = Xu| مؤلف4-الأخير = Almeida| مؤلف4-الأول = Diogo| مؤلف5-الأخير = Wainwright| مؤلف5-الأول = Carroll L.| مؤلف6-الأخير = Mishkin| مؤلف6-الأول = Pamela| مؤلف7-الأخير = Zhang| مؤلف7-الأول = Chong| مؤلف8-الأخير = Agarwal| مؤلف8-الأول = Sandhini| مؤلف9-الأخير = Slama| مؤلف9-الأول = Katarina| مؤلف10-الأخير = Ray| مؤلف10-الأول = Alex| مؤلف11-الأخير = Schulman| مؤلف11-الأول = John| مؤلف12-الأخير = Hilton| مؤلف12-الأول = Jacob| مؤلف13-الأخير = Kelton| مؤلف13-الأول = Fraser| مؤلف14-الأخير = Miller| مؤلف14-الأول = Luke| مؤلف15-الأخير = Simens| مؤلف15-الأول = Maddie| مؤلف16-الأخير = Askell| مؤلف16-الأول = Amanda| مؤلف17-الأخير = Welinder| مؤلف17-الأول = Peter| مؤلف18-الأخير = Christiano| مؤلف18-الأول = Paul| مؤلف19-الأخير = Leike| مؤلف19-الأول = Jan| مؤلف20-الأخير = Lowe| مؤلف20-الأول = Ryan}}</ref><ref>{{استشهاد بويب| عنوان = ما المقصود بالتعلُّم المعزَّز من الملاحظات البشرية (RLHF)؟ - شرح "التعلُّم المعزَّز من الملاحظات البشرية" - AWS| مسار = https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/| تاريخ الوصول = 28 أكتوبر 2024| صحيفة = Amazon Web Services, Inc.| لغة = العربية|مسار أرشيف= http://web.archive.org/web/20241216101751/https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/|تاريخ أرشيف=2024-12-16}}</ref>

=== ضبط التعليمات ===
بفضل أساليب "التعلّم الذاتي"، استطاعت النماذج اللغوية الضخمة أن تستنبط ردودًا صحيحة، مستبدلةً أي ردود سطحية، انطلاقًا من تصحيحات بشرية محدودة. فعلى سبيل المثال، إذا كانت التعليمات "اكتب مقالًا عن القضايا المحورية في مسرحية هاملت"، فإن الإكمال السطحي الأولي قد يكون "إذا قدمت المقال بعد السابع عشر من مارس، فستُخصم من درجاتك عشرة بالمائة عن كل يوم تأخير"، وذلك استنادًا إلى تكرار هذا النمط اللغوي في البيانات التدريبية.<ref name="self-instruct-paper">{{استشهاد بأرخايف| eprint = 2212.10560| class = cs.CL| مؤلف1-الأول = Yizhong| مؤلف1-الأخير = Wang| مؤلف2-الأول = Yeganeh| مؤلف2-الأخير = Kordi| عنوان = Self-Instruct: Aligning Language Model with Self Generated Instructions| تاريخ = 2022| مؤلف3-الأخير = Mishra| مؤلف3-الأول = Swaroop| مؤلف4-الأخير = Liu| مؤلف4-الأول = Alisa| مؤلف5-الأخير = Smith| مؤلف5-الأول = Noah A.| مؤلف6-الأخير = Khashabi| مؤلف6-الأول = Daniel| مؤلف7-الأخير = Hajishirzi| مؤلف7-الأول = Hannaneh}}</ref>

=== خليط الخبراء ===
{{مفصلة|مزيج من الخبراء}}
إن تدريب واستخدام النماذج اللغوية الكبيرة التي تضم مليارات المعامل قد يكون مكلفًا للغاية. وللتغلب على هذه التحدي، استخدم الباحثون في غوغل تقنية [[مزيج من الخبراء|مزيج الخبراء]] (MoE) التي تسمح بتدريب نماذج أكبر بكثير، تصل إلى تريليون معامل، وذلك من خلال توزيع الحسابات على عدة نماذج أصغر تعمل معًا.<ref name="HGZCJ">{{استشهاد بأرخايف| eprint = 1701.06538| class = cs.LG| مؤلف1-الأول = Noam| مؤلف1-الأخير = Shazeer| مؤلف2-الأول = Azalia| مؤلف2-الأخير = Mirhoseini| عنوان = Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer| تاريخ = 01 يناير 2017| مؤلف3-الأخير = Maziarz| مؤلف3-الأول = Krzysztof| مؤلف4-الأخير = Davis| مؤلف4-الأول = Andy| مؤلف5-الأخير = Le| مؤلف5-الأول = Quoc| مؤلف6-الأخير = Hinton| مؤلف6-الأول = Geoffrey| مؤلف7-الأخير = Dean| مؤلف7-الأول = Jeff}}</ref><ref name="R9Qq5">{{استشهاد بأرخايف| eprint = 2006.16668| class = cs.CL| مؤلف1-الأول = Dmitry| مؤلف1-الأخير = Lepikhin| مؤلف2-الأول = HyoukJoong| مؤلف2-الأخير = Lee| عنوان = GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding| تاريخ = 12 يناير 2021| مؤلف3-الأخير = Xu| مؤلف3-الأول = Yuanzhong| مؤلف4-الأخير = Chen| مؤلف4-الأول = Dehao| مؤلف5-الأخير = Firat| مؤلف5-الأول = Orhan| مؤلف6-الأخير = Huang| مؤلف6-الأول = Yanping| مؤلف7-الأخير = Krikun| مؤلف7-الأول = Maxim| مؤلف8-الأخير = Shazeer| مؤلف8-الأول = Noam| مؤلف9-الأخير = Chen| مؤلف9-الأول = Zhifeng}}</ref><ref>{{استشهاد بويب| مؤلف1-الأخير = Dai| مؤلف1-الأول = Andrew M| مؤلف2-الأخير = Du| مؤلف2-الأول = Nan| تاريخ = 9 ديسمبر 2021| عنوان = More Efficient In-Context Learning with GLaM| مسار = https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html| تاريخ الوصول = 09 مارس 2023| موقع = ai.googleblog.com| تاريخ أرشيف = 12 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230312072042/https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html| حالة المسار = live}}</ref>

=== هندسة المطالبات وآلية الانتباه ونافذة السّياق ===
{{أيضا|انتباه (تعلم الآلة)}}

يمكن تحقيق غالبية النتائج التي كانت تُتحقَّق سابقًا، والتي كانت تتطلب ضبطًا دقيقًا ومكلفًا، عن طريق هندسة المطالبات أو [[هندسة التلقين|التلقين]]، إلا أن هذه الطريقة تقتصر على نطاق محادثة محدد (أو بشكل أدق، على نطاق نافذة السياق).<ref name="emergentpaper"/>

لتحديد الرموز المترابطة ضمن نافذة السياق، تقوم آلية الانتباه بحساب أوزان "ناعمة" لكل رمز، وذلك لتحديد أهميته. تستخدم هذه الآلية رؤوس انتباه متعددة، ولكل منها "صلة" خاصة بها لحساب هذه الأوزان. على سبيل المثال، يحتوي النموذج الصغير من جي بي تي-2 (117 مليون معامل) على 12 رأس انتباه ونافذة سياق تتسع لـ 1000 رمز.<ref name="Jay_Allamar_GPT2">{{استشهاد بويب| مؤلف1-الأخير = Allamar| مؤلف1-الأول = Jay| عنوان = The Illustrated GPT-2 (Visualizing Transformer Language Models)| مسار = https://jalammar.github.io/illustrated-gpt2/| تاريخ الوصول = 01 أغسطس 2023| مسار أرشيف =https://archive.today/20190813013652/https://jalammar.github.io/illustrated-gpt2/| تاريخ أرشيف = 13 أغسطس 2019}}</ref> أما النموذج المتوسط فيحتوي على 345 مليون معامل و24 طبقة، ولكل طبقة 12 رأس انتباه. وقد استُخدمت دفعات تدريبية حجمها 512 مع خوارزمية الانحدار التدريجي.<ref name="2022Book_"/>

يمكن لأضخم النماذج اللغوية، ومنها نموذج جيميناي 1.5 الذي أطلقته شركة [[جوجل|غوغل]] في فبراير عام 2024، أن تتسع لنافذة سياقية تصل إلى مليون رمز (وقد جُربت نافذة سياقية تتسع لعشرة ملايين رمز بنجاح).<ref>{{استشهاد بويب| عنوان = Our next-generation model: Gemini 1.5| مسار = https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window| موقع = Google| تاريخ الوصول = 18 فبراير 2024| تاريخ = 15 فبراير 2024| تاريخ أرشيف = 18 فبراير 2024| مسار أرشيف =https://web.archive.org/web/20240218141522/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window| حالة المسار = live}}</ref> ومن الأمثلة الأخرى على النماذج ذات النوافذ السياقية الواسعة نموذج كلود 2.1 من شركة أنثروبيك، الذي يتسع لـ200 ألف رمز مميز.<ref>{{استشهاد بويب| مسار = https://www.anthropic.com/news/claude-2-1-prompting| عنوان = Long context prompting for Claude 2.1| تاريخ = 6 ديسمبر 2023| تاريخ الوصول = 20 يناير 2024| تاريخ أرشيف = 27 أغسطس 2024| مسار أرشيف =https://web.archive.org/web/20240827053830/https://www.anthropic.com/news/claude-2-1-prompting| حالة المسار = live| صحيفة = Anthropic}}</ref> ومن الجدير بالذكر أن هذا الحد الأقصى يشير إلى عدد الرموز المدخلة، بينما يختلف الحد الأقصى لعدد الرموز المخرجة وغالبًا ما يكون أقل. فعلى سبيل المثال يقتصر الحد الأقصى لعدد الرموز المخرجة في نموذج جي بي تي-4 تربو على 4096 رمزًا مميزًا.<ref>{{استشهاد بويب| مسار = https://platform.openai.com/docs/guides/rate-limits| عنوان = Rate limits| مؤلف = <!--Not stated-->| موقع = openai.com| تاريخ الوصول = 20 يناير 2024| تاريخ أرشيف = 02 فبراير 2024| مسار أرشيف =https://web.archive.org/web/20240202003219/https://platform.openai.com/docs/guides/rate-limits| حالة المسار = live}}</ref>

إن قدرة النموذج اللغوي على استيعاب سياق المحادثة وتذكره محدودة بطول نافذة السياق. فإذا تجاوز طول الحوار هذه النافذة، كما هو الحال في محادثات طويلة مع نماذج مثل [[شات جي بي تي]]، فإن النموذج إما سيقتصر على الجزء الأخير من الحوار الموجود داخل النافذة عند توليد الرد، أو سيضطر إلى اللجوء إلى خوارزميات تلخيص لتلخيص الأجزاء البعيدة من الحوار. ومن الجدير بالذكر أن توسيع نافذة السياق ينطوي على تكاليف حسابية أكبر، وقد يؤدي إلى تشتيت انتباه النموذج عن السياق المباشر. من ناحية أخرى، فإن تضييق هذه النافذة قد يجعل النموذج عاجزًا عن فهم العلاقات المعقدة التي تمتد على مسافات طويلة داخل الحوار. لذا، فإن تحديد الحجم الأمثل لنافذة السياق يتطلب توازنًا دقيقًا، ويعتمد على عوامل عدة تتعلق بالمجال التطبيقي والخصائص التقنية للنموذج.

يمكن تدريب نموذج لغوي مسبقًا على استشراف الكلمات اللاحقة لتسلسل كلمات معين، أو على استكمال الفراغات الناقصة في نص مُعطى، وذلك بالاعتماد على بيانات تدريبية واسعة.<ref name="ioUpE">{{استشهاد بكتاب| مؤلف1-الأخير = Zaib| مؤلف1-الأول = Munazza| مؤلف2-الأخير = Sheng| مؤلف2-الأول = Quan Z.| مؤلف3-الأخير = Emma Zhang| مؤلف3-الأول = Wei| عنوان = Proceedings of the Australasian Computer Science Week Multiconference| الفصل = A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP| تاريخ = 4 فبراير 2020| مسار الفصل = https://www.researchgate.net/publication/338931711| صفحات = 1–4| arxiv = 2104.10810| doi = 10.1145/3373017.3373028| isbn = 9781450376976| s2cid = 211040895| مسار = https://doi.org/10.1145/3373017.3373028| مسار أرشيف =https://web.archive.org/web/20240709194150/https://doi.org/10.1145%2F3373017.3373028| تاريخ أرشيف = 09 يوليو 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref> ويمكن تصنيف هذه النماذج إلى نوعين رئيسيين:

* نماذج توليدية: حيث تولد هذه النماذج تسلسلات لغوية جديدة بناءً على المدخلات المقدمة إليها، شبيهة بعمل المحولات المولدة مسبقة التدريب. فعلى سبيل المثال، إذا قدمنا للنموذج الجملة "أحب أن آكل"، فإنه قد يكملها بقوله "تفاحة" أو "برتقالة".
* [[اختبار التتمة|نماذج ملء الفراغات]]: حيث تقوم هذه النماذج بتحديد الكلمات المفقودة في نص غير كامل، كما يعمل نموذج "بيرت". فعلى سبيل المثال، إذا قدمنا الجملة "أحب أن [][] كريم"، فإنه قد يستكملها بقوله "آكل" و"تفاحة".

يمكن تدريب النماذج اللغوية على مهام مساعدة تقيّم مدى فهمها لتوزيع البيانات، مثل مهمة التنبؤ بالجملة التالية (NSP). وفي هذه المهمة يُعرض على النموذج أزواج من الجمل، ويتعين عليه التنبؤ بمدى توالي هاتين الجملتين في مجموعة البيانات التدريبية.<ref name="jm">{{استشهاد بكتاب | مؤلف1-الأخير = Jurafsky| مؤلف1-الأول = Dan| مسار = https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf| عنوان = Speech and Language Processing| مؤلف2-الأخير = Martin| مؤلف2-الأول = James H.| تاريخ = 7 يناير 2023| طبعة = 3rd edition draft| تاريخ الوصول = 24 مايو 2022| تاريخ أرشيف = 23 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230323210221/https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf| حالة المسار = live| صيغة = pdf}}</ref> أثناء عملية التدريب، يُستخدم كذلك مفهوم "خسارة [[التنظيم (رياضيات)|التنظيم]]" لتعزيز استقرار عملية التعلم. بيد أن هذا المفهوم لا يُستخدم عادةً خلال [[بيانات التدريب والتحقق والاختبار|مراحل الاختبار والتقييم]].

=== البنية التحتية ===
يتطلب تدريب النماذج الأكبر حجماً بنية تحتية ضخمة.<ref>{{استشهاد بويب | عنوان = From bare metal to a 70B model: infrastructure set-up and scripts| مسار = https://imbue.com/research/70b-infrastructure/| تاريخ الوصول = 24 يوليو 2024| موقع = imbue.com| لغة = الإنجليزية| تاريخ أرشيف = 26 يوليو 2024| مسار أرشيف =https://web.archive.org/web/20240726203419/https://imbue.com/research/70b-infrastructure/| حالة المسار = live}}</ref><ref>{{استشهاد بويب | عنوان = metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq| مسار = https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles| تاريخ الوصول = 24 يوليو 2024| موقع = GitHub| لغة = الإنجليزية| تاريخ أرشيف = 24 يناير 2024| مسار أرشيف =https://web.archive.org/web/20240124035658/https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles| حالة المسار = live}}</ref><ref>{{استشهاد بويب | مؤلف1-الأخير = Albrecht| مؤلف1-الأول = Josh| تاريخ = 23 يوليو 2024| عنوان = State of the Art: Training >70B LLMs on 10,000 H100 clusters| مسار = https://www.latent.space/p/llm-training-2024| تاريخ الوصول = 24 يوليو 2024| موقع = www.latent.space| لغة = الإنجليزية| مسار أرشيف =https://web.archive.org/web/20240801224603/https://www.latent.space/p/llm-training-2024| تاريخ أرشيف = 01 أغسطس 2024}}</ref>

== تكلفة التدريب ==
أسهمت التطورات المتسارعة في البرامج والأجهزة الرقمية في خفض تكاليف تدريب نماذج اللغات الكبيرة بشكل ملحوظ منذ عام 2020. ففي حين أن تدريب نموذج لغوي ضخم يحتوي على 12 مليار معامل يتطلب حاليًا نحو 72 ألف ساعة عمل [[وحدة معالجة الرسوميات|لوحدة معالجة الرسومات]] من طراز A100، إلا أن تكلفة تدريب نموذج مماثل بحجم 1.5 مليار معامل في عام 2020 كانت تتراوح بين 80 ألف دولار و1.6 مليون دولار، وهو ما يعكس تطورًا هائلًا في كفاءة العمليات الحسابية.<ref>{{استشهاد بويب| مؤلف1-الأخير = Wiggers| مؤلف1-الأول = Kyle| تاريخ = 28 أبريل 2022| عنوان = The emerging types of language models and why they matter| مسار = https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/| عمل = TechCrunch| تاريخ الوصول = 9 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/| حالة المسار = live}}</ref><ref name="xaytj">{{استشهاد بأرخايف| eprint = 2004.08900| class = cs.CL| مؤلف1-الأول = Or| مؤلف1-الأخير = Sharir| مؤلف2-الأول = Barak| مؤلف2-الأخير = Peleg| عنوان = The Cost of Training NLP Models: A Concise Overview| مؤلف3-الأخير = Shoham| مؤلف3-الأول = Yoav| سنة = 2020}}</ref><ref name="Pythia">{{استشهاد بأرخايف| eprint = 2304.01373| class = cs.CL| مؤلف1-الأول = Stella| مؤلف1-الأخير = Biderman| مؤلف2-الأول = Hailey| مؤلف2-الأخير = Schoelkopf| عنوان = Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling| تاريخ = أبريل 2023| مؤلف3-الأخير = Anthony| مؤلف3-الأول = Quentin| مؤلف4-الأخير = Bradley| مؤلف4-الأول = Herbie| مؤلف5-الأخير = Khan| مؤلف5-الأول = Mohammad Aflah| مؤلف6-الأخير = Purohit| مؤلف6-الأول = Shivanshu| مؤلف7-الأخير = Prashanth| مؤلف7-الأول = USVSN Sai}}</ref> ومنذ ذلك الحين، شهدنا استثمارات ضخمة في تطوير نماذج لغوية أكبر وأكثر تعقيدًا. فعلى سبيل المثال، بلغت تكلفة تدريب نموذج جي بي تي-2 الذي يحتوي على 1.5 مليار معامل نحو 50 ألف دولار في عام 2019، بينما بلغت تكلفة تدريب نموذج [[بالم (ذكاء اصطناعي)|بالم]] الأكبر بكثير والذي يحتوي على 540 مليار معامل نحو 8 مليون دولار في عام 2022. كما بلغت تكلفة تدريب نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معامل نحو 11 مليون دولار في عام 2021.<ref>{{استشهاد| مؤلف1-الأخير = Maslej| مؤلف1-الأول = Nestor| عنوان = Artificial Intelligence Index Report 2023| تاريخ = 05 أكتوبر 2023| arxiv = 2310.03715| مؤلف2-الأخير = Fattorini| مؤلف2-الأول = Loredana| مؤلف3-الأخير = Brynjolfsson| مؤلف3-الأول = Erik| مؤلف4-الأخير = Etchemendy| مؤلف4-الأول = John| مؤلف5-الأخير = Ligett| مؤلف5-الأول = Katrina| مؤلف6-الأخير = Lyons| مؤلف6-الأول = Terah| مؤلف7-الأخير = Manyika| مؤلف7-الأول = James| مؤلف8-الأخير = Ngo| مؤلف8-الأول = Helen| مؤلف9-الأخير = Niebles| مؤلف9-الأول = Juan Carlos}}</ref>

ومن الجدير بالذكر أن تكلفة تدريب نماذج اللغات الكبيرة القائمة على آلية الانتباه الذاتي تكون أعلى بكثير من تكلفة استخدامها للاستدلال على نتائج جديدة. ففي المتوسط، يتطلب تدريب رمز مميز واحد نحو 6 عمليات حسابية عائمة لكل معامل، بينما يتطلب استنتاج رمز مميز واحد من 1 إلى 2 عملية حسابية عائمة لكل معامل فقط.<ref name="kaplan-scaling">Section 2.1 and Table 1,

{{استشهاد بأرخايف| eprint = 2001.08361| class = cs.LG| مؤلف1-الأول = Jared| مؤلف1-الأخير = Kaplan| مؤلف2-الأول = Sam| مؤلف2-الأخير = McCandlish| عنوان = Scaling Laws for Neural Language Models| مؤلف3-الأخير = Henighan| مؤلف3-الأول = Tom| مؤلف4-الأخير = Brown| مؤلف4-الأول = Tom B.| مؤلف5-الأخير = Chess| مؤلف5-الأول = Benjamin| مؤلف6-الأخير = Child| مؤلف6-الأول = Rewon| مؤلف7-الأخير = Gray| مؤلف7-الأول = Scott| مؤلف8-الأخير = Radford| مؤلف8-الأول = Alec| مؤلف9-الأخير = Wu| مؤلف9-الأول = Jeffrey| مؤلف10-الأخير = Amodei| مؤلف10-الأول = Dario| سنة = 2020}}</ref>

== استخدام الأدوات ==

ثمة مهامّ محددة لا يُمكن لأي نموذج لغة كبير حلها مبدئيًا، على الأقل ليس دون الاستعانة بأدوات خارجية أو برامج إضافية. ومن الأمثلة على ذلك الاستجابة إلى مدخل المستخدم "354 * 139 ="، شريطة ألا يكون النموذج قد واجه هذا الحساب سابقًا في مجموعة تدريبه.{{محل شك|date=سبتمبر 2024}} في مثل هذه الحالات، يتعين على النموذج اللجوء إلى تشغيل رمز برمجي يحسب النتيجة، ثم إدماجها في استجابته.{{محل شك|date=سبتمبر 2024}} مثال آخر هو "ما الوقت الآن؟"، حيث يحتاج مفسر برمجي منفصل إلى تنفيذ رمز للحصول على وقت النظام على الحاسوب، كي يتمكن النموذج من تضمينه في رده.<ref name="PI1fW">{{استشهاد بأرخايف| eprint = 2211.10435| class = cs.CL| مؤلف1-الأول = Luyu| مؤلف1-الأخير = Gao| مؤلف2-الأول = Aman| مؤلف2-الأخير = Madaan| عنوان = PAL: Program-aided Language Models| تاريخ = 01 نوفمبر 2022| مؤلف3-الأخير = Zhou| مؤلف3-الأول = Shuyan| مؤلف4-الأخير = Alon| مؤلف4-الأول = Uri| مؤلف5-الأخير = Liu| مؤلف5-الأول = Pengfei| مؤلف6-الأخير = Yang| مؤلف6-الأول = Yiming| مؤلف7-الأخير = Callan| مؤلف7-الأول = Jamie| مؤلف8-الأخير = Neubig| مؤلف8-الأول = Graham}}</ref><ref name="J5OW5">{{استشهاد بويب| عنوان = PAL: Program-aided Language Models| مسار = https://reasonwithpal.com/| تاريخ الوصول = 12 يونيو 2023| موقع = reasonwithpal.com| تاريخ أرشيف = 12 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230612162208/https://reasonwithpal.com/| حالة المسار = live}}</ref> يمكن تطوير هذه الإستراتيجية الأساسية بتجريب برامج مولدة متعددة واستراتيجيات تعيين أخرى.<ref name="gQxzq">{{استشهاد بأرخايف| eprint = 2303.09014| class = cs.CL| مؤلف1-الأول = Bhargavi| مؤلف1-الأخير = Paranjape| مؤلف2-الأول = Scott| مؤلف2-الأخير = Lundberg| عنوان = ART: Automatic multi-step reasoning and tool-use for large language models| تاريخ = 01 مارس 2023| مؤلف3-الأخير = Singh| مؤلف3-الأول = Sameer| مؤلف4-الأخير = Hajishirzi| مؤلف4-الأول = Hannaneh| مؤلف5-الأخير = Zettlemoyer| مؤلف5-الأول = Luke| مؤلف6-الأخير = Tulio Ribeiro| مؤلف6-الأول = Marco}}</ref>

بشكل عام، لتمكين النموذج من استخدام الأدوات، يجب ضبطه على ذلك. فإذا كان عدد الأدوات محدودًا، يكفي ضبطه مرة واحدة. أما إذا كان عددها متزايدًا بشكل تعسفي، كما هو الحال مع خدمات [[واجهة برمجة التطبيقات|واجهات برمجة التطبيقات]] عبر الإنترنت، فيجب تجهيز النموذج بقراءة وثائق هذه الواجهات واستدعائها بصورة صحيحة.<ref name="lLrda">{{استشهاد بأرخايف| eprint = 2303.16434| class = cs.AI| مؤلف1-الأول = Yaobo| مؤلف1-الأخير = Liang| مؤلف2-الأول = Chenfei| مؤلف2-الأخير = Wu| عنوان = TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs| تاريخ = 01 مارس 2023| مؤلف3-الأخير = Song| مؤلف3-الأول = Ting| مؤلف4-الأخير = Wu| مؤلف4-الأول = Wenshan| مؤلف5-الأخير = Xia| مؤلف5-الأول = Yan| مؤلف6-الأخير = Liu| مؤلف6-الأول = Yu| مؤلف7-الأخير = Ou| مؤلف7-الأول = Yang| مؤلف8-الأخير = Lu| مؤلف8-الأول = Shuai| مؤلف9-الأخير = Ji| مؤلف9-الأول = Lei| مؤلف10-الأخير = Mao| مؤلف10-الأول = Shaoguang| مؤلف11-الأخير = Wang| مؤلف11-الأول = Yun| مؤلف12-الأخير = Shou| مؤلف12-الأول = Linjun| مؤلف13-الأخير = Gong| مؤلف13-الأول = Ming| مؤلف14-الأخير = Duan| مؤلف14-الأول = Nan}}</ref><ref name="4Xzrs">{{استشهاد بأرخايف| مؤلف1-الأخير = Patil| مؤلف1-الأول = Shishir G.| مؤلف2-الأخير = Zhang| مؤلف2-الأول = Tianjun| مؤلف3-الأخير = Wang| مؤلف3-الأول = Xin| مؤلف4-الأخير = Gonzalez| مؤلف4-الأول = Joseph E.| تاريخ = 01 مايو 2023| عنوان = Gorilla: Large Language Model Connected with Massive APIs| class = cs.CL| eprint = 2305.15334}}</ref>

أبسط شكل لاستخدام الأدوات هو التوليد المعزز بالاسترجاع: أي تعزيز النموذج [[استحضار الوثائق|باسترجاع المستندات]]. فبناءً على استعلام معين، يُستدعى مسترجع مستندات للحصول على المستندات الأكثر صلة. يجري ذلك عادة بتشفير الاستعلام والمستندات إلى متجهات، ثم البحث عن المستندات التي تتشابه متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات) مع متجه الاستعلام. ثم يولد النموذج الناتج استنادًا إلى الاستعلام والسياق المستمد من المستندات المسترجعة.<ref name="BUZBP">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Lewis| مؤلف1-الأول = Patrick| مؤلف2-الأخير = Perez| مؤلف2-الأول = Ethan| مؤلف3-الأخير = Piktus| مؤلف3-الأول = Aleksandra| مؤلف4-الأخير = Petroni| مؤلف4-الأول = Fabio| مؤلف5-الأخير = Karpukhin| مؤلف5-الأول = Vladimir| مؤلف6-الأخير = Goyal| مؤلف6-الأول = Naman| مؤلف7-الأخير = Küttler| مؤلف7-الأول = Heinrich| مؤلف8-الأخير = Lewis| مؤلف8-الأول = Mike| مؤلف9-الأخير = Yih| مؤلف9-الأول = Wen-tau| مؤلف10-الأخير = Rocktäschel| مؤلف10-الأول = Tim| مؤلف11-الأخير = Riedel| مؤلف11-الأول = Sebastian| مؤلف12-الأخير = Kiela| مؤلف12-الأول = Douwe| تاريخ = 2020| عنوان = Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks| مسار = https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html| صحيفة = Advances in Neural Information Processing Systems| ناشر = Curran Associates, Inc.| المجلد = 33| صفحات = 9459–9474| arxiv = 2005.11401| تاريخ الوصول = 12 يونيو 2023| تاريخ أرشيف = 12 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230612171229/https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html| حالة المسار = live}}</ref>

== الوكلاء ==
النموذج اللغوي الكبير هو نموذج لغوي محض، لا يعد وكيلًا ذكيًا بذاته لافتقاره إلى هدف محدد، إلا أنه يمكن توظيفه كعنصر أساسي في بناء [[وكيل ذكي]].<ref name="CFuti">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Huang| مؤلف1-الأول = Wenlong| مؤلف2-الأخير = Abbeel| مؤلف2-الأول = Pieter| مؤلف3-الأخير = Pathak| مؤلف3-الأول = Deepak| مؤلف4-الأخير = Mordatch| مؤلف4-الأول = Igor| تاريخ = 28 يونيو 2022| عنوان = Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents| مسار = https://proceedings.mlr.press/v162/huang22a.html| صحيفة = Proceedings of the 39th International Conference on Machine Learning| ناشر = PMLR| صفحات = 9118–9147| arxiv = 2201.07207| مسار أرشيف =https://web.archive.org/web/20240827220152/https://proceedings.mlr.press/v162/huang22a.html| تاريخ أرشيف = 27 أغسطس 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref>

ينشئ نمط "ريآكت" (المركب من "التفكير" و"الفعَل") [[وكيل ذكي|وكيلًا]] ذكيًا من خلال الاعتماد على نموذج لغوي كبير كمحرك رئيسي للتفكير والتخطيط. إذ يُطلب من النموذج اللغوي أن "يفكر بصوت عالٍ"، أي أن يقدم وصفًا نصيًا مفصلًا للبيئة التي يعمل فيها، والهدف المطلوب تحقيقه، وقائمة بالإجراءات المتاحة، وسجلًا بالإجراءات التي نُفِّذت والنتائج التي أسفرت عنها. وعليه، يقوم النموذج بتوليد فكرة أو أكثر قبل اختيار الإجراء الأنسب وتنفيذه في البيئة المحددة.<ref name="DmvNE">{{استشهاد بأرخايف| eprint = 2210.03629| class = cs.CL| مؤلف1-الأول = Shunyu| مؤلف1-الأخير = Yao| مؤلف2-الأول = Jeffrey| مؤلف2-الأخير = Zhao| عنوان = ReAct: Synergizing Reasoning and Acting in Language Models| تاريخ = 01 أكتوبر 2022| مؤلف3-الأخير = Yu| مؤلف3-الأول = Dian| مؤلف4-الأخير = Du| مؤلف4-الأول = Nan| مؤلف5-الأخير = Shafran| مؤلف5-الأول = Izhak| مؤلف6-الأخير = Narasimhan| مؤلف6-الأول = Karthik| مؤلف7-الأخير = Cao| مؤلف7-الأول = Yuan}}</ref> ويمكن أن يكون الوصف اللغوي للبيئة المقدم للنموذج على شكل رمز لاتكس لورقة تصف البيئة بدقة.<ref name="JS8Vd">{{استشهاد بأرخايف| eprint = 2305.15486| class = cs.AI| مؤلف1-الأول = Yue| مؤلف1-الأخير = Wu| مؤلف2-الأول = Shrimai| مؤلف2-الأخير = Prabhumoye| عنوان = SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning| تاريخ = 24 مايو 2023| مؤلف3-الأخير = Min| مؤلف3-الأول = So Yeon}}</ref>

في أسلوب "وصف، شرح، تخطيط واختيار" (DEPS)، يُربط أولًا نموذج لغوي واسع بالواقع المرئي عبر أوصاف الصور، ثم يُطلب منه وضع خطط لأعمال وأفعال معقدة استنادًا إلى معلوماته المتراكمة مسبقًا والآراء البيئية التي يتلقاها.<ref>{{استشهاد بأرخايف| eprint = 2302.01560| class = cs.AI| مؤلف1-الأول = Zihao| مؤلف1-الأخير = Wang| مؤلف2-الأول = Shaofei| مؤلف2-الأخير = Cai| عنوان = Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents| تاريخ = 03 فبراير 2023| مؤلف3-الأخير = Liu| مؤلف3-الأول = Anji| مؤلف4-الأخير = Ma| مؤلف4-الأول = Xiaojian| مؤلف5-الأخير = Liang| مؤلف5-الأول = Yitao}}</ref>

يُنشئ أسلوب الانعكاس وكيلًا يتعلم عبر دورات متتالية. في نهاية كل دورة، <ref name="sbB2T">{{استشهاد بأرخايف| مؤلف1-الأخير = Shinn| مؤلف1-الأول = Noah| مؤلف2-الأخير = Cassano| مؤلف2-الأول = Federico| مؤلف3-الأخير = Labash| مؤلف3-الأول = Beck| مؤلف4-الأخير = Gopinath| مؤلف4-الأول = Ashwin| مؤلف5-الأخير = Narasimhan| مؤلف5-الأول = Karthik| مؤلف6-الأخير = Yao| مؤلف6-الأول = Shunyu| تاريخ = 01 مارس 2023| عنوان = Reflexion: Language Agents with Verbal Reinforcement Learning| class = cs.AI| eprint = 2303.11366}}</ref> يُعطى النموذج اللغوي الكبير سجلًا بالدورة، ويُطلب منه التفكير في "الدروس المُستفادة"، مما يساعده على الأداء بشكل أفضل في الدورة التالية.

يمكن لـ {{وإو|بحث شجرة مونت كارلو|Monte Carlo tree search}} أن يستخدم نموذجًا لغويًا واسعًا كتجربة للاستدلال. وعندما لا يتوفّر نموذج عالمي برمجي، يمكن كذلك طلب نموذج لغوي واسع بوصف للبيئة ليعمل كنموذج عالمي.<ref name="ltTer">{{استشهاد بأرخايف| eprint = 2305.14992| class = cs.CL| مؤلف1-الأول = Shibo| مؤلف1-الأخير = Hao| مؤلف2-الأول = Yi| مؤلف2-الأخير = Gu| عنوان = Reasoning with Language Model is Planning with World Model| تاريخ = 01 مايو 2023| مؤلف3-الأخير = Ma| مؤلف3-الأول = Haodi| مؤلف4-الأخير = Jiahua Hong| مؤلف4-الأول = Joshua| مؤلف5-الأخير = Wang| مؤلف5-الأول = Zhen| مؤلف6-الأخير = Zhe Wang| مؤلف6-الأول = Daisy| مؤلف7-الأخير = Hu| مؤلف7-الأول = Zhiting}}</ref>

في سياق الاستكشاف المفتوح، يمكن توظيف نموذج لغوي واسع لتدوين ملاحظات "مثيرة للاهتمام"، تُستخدم بدورها كإشارات مكافأة لتوجيه وكيل التعلم التعزيزي البسيط (غير اللغوي).<ref name="mBvD9">{{استشهاد بأرخايف| eprint = 2306.01711| class = cs.AI| مؤلف1-الأول = Jenny| مؤلف1-الأخير = Zhang| مؤلف2-الأول = Joel| مؤلف2-الأخير = Lehman| عنوان = OMNI: Open-endedness via Models of human Notions of Interestingness| تاريخ = 2 يونيو 2023| مؤلف3-الأخير = Stanley| مؤلف3-الأول = Kenneth| مؤلف4-الأخير = Clune| مؤلف4-الأول = Jeff}}</ref> وعوضًا عن ذلك يمكن للنموذج [[منطقة النمو القريبة|اقتراح مهامّ متزايدة الصّعوبة]] لتمكين التعلم التدريجي.<ref name=":0">{{استشهاد بويب| عنوان = Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models| مسار = https://voyager.minedojo.org/| تاريخ الوصول = 09 يونيو 2023| موقع = voyager.minedojo.org| تاريخ أرشيف = 08 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230608225054/https://voyager.minedojo.org/| حالة المسار = live}}</ref> وبدلًا من إخراج أفعال فردية، يمكن لنموذج التخطيط اللغوي الكبير بناء "مهارات"، أي [[دالة (برمجة)|دوال]] تمثل تسلسلات من الأفعال المعقدة. ويمكن تخزين هذه المهارات واسترجاعها لاحقًا، مما يتيح مستويات أعلى من التجريد في التخطيط.<ref name=":0"/>

يمكن للوكلاء المدعومين بنماذج لغوية واسعة الاحتفاظ بذاكرة طويلة الأمد للسياقات السابقة، ويمكن استرجاع هذه الذاكرة بنفس طريقة التوليد المعزز بالاسترجاع. ويمكن لمجموعة من هذه الوكلاء التفاعل اجتماعيًا.<ref name="XuvjF">{{استشهاد بأرخايف| مؤلف1-الأخير = Park| مؤلف1-الأول = Joon Sung| مؤلف2-الأخير = O'Brien| مؤلف2-الأول = Joseph C.| مؤلف3-الأخير = Cai| مؤلف3-الأول = Carrie J.| مؤلف4-الأخير = Ringel Morris| مؤلف4-الأول = Meredith| مؤلف5-الأخير = Liang| مؤلف5-الأول = Percy| مؤلف6-الأخير = Bernstein| مؤلف6-الأول = Michael S.| تاريخ = 01 أبريل 2023| عنوان = Generative Agents: Interactive Simulacra of Human Behavior| class = cs.HC| eprint = 2304.03442}}</ref>

== الضغط ==

تُدرب عادةً نماذج اللّغة الكبيرة (LLMs) باستخدام أعداد عشرية ذات دقة مفردة أو نصف دقة (float32 وfloat16). يحتوي رقم float16 على 16 بت، أو 2 بايت، وبالتالي فإن مليار معامل يتطلبان 2 جيجا بايت. وتحتاج النماذج الأكبر حجمًا، والتي تحتوي عادةً على 100 مليار معامل، إلى 200 جيجا بايت لتحميلها، مما يجعلها خارج نطاق معظم الأجهزة الإلكترونية الاستهلاكية.<ref>{{استشهاد بويب| مؤلف1-الأخير = Mann| مؤلف1-الأول = Tobias| عنوان = How to run an LLM locally on your PC in less than 10 minutes| مسار = https://www.theregister.com/2024/03/17/ai_pc_local_llm/| تاريخ الوصول = 17 مايو 2024| موقع = www.theregister.com| مسار أرشيف =https://archive.today/20240319050945/https://www.theregister.com/2024/03/17/ai_pc_local_llm/| تاريخ أرشيف = 19 مارس 2024}}</ref>

يهدف "[[تكميم (إشارة)|التكميم]] بعد التدريب" <ref name="LS2Go">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Nagel| مؤلف1-الأول = Markus| مؤلف2-الأخير = Amjad| مؤلف2-الأول = Rana Ali| مؤلف3-الأخير = Baalen| مؤلف3-الأول = Mart Van| مؤلف4-الأخير = Louizos| مؤلف4-الأول = Christos| مؤلف5-الأخير = Blankevoort| مؤلف5-الأول = Tijmen| تاريخ = 21 نوفمبر 2020| عنوان = Up or Down? Adaptive Rounding for Post-Training Quantization| مسار = https://proceedings.mlr.press/v119/nagel20a.html| صحيفة = Proceedings of the 37th International Conference on Machine Learning| ناشر = PMLR| صفحات = 7197–7206| تاريخ الوصول = 14 يونيو 2023| تاريخ أرشيف = 14 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230614080854/https://proceedings.mlr.press/v119/nagel20a.html| حالة المسار = live}}</ref> إلى تقليل مساحة التخزين عن طريق خفض دقة معاملات النموذج المدرب، مع الحفاظ على معظم أدائه.<ref name="cpzcK">{{استشهاد بأرخايف| eprint = 1802.05668| class = cs.NE| مؤلف1-الأول = Antonio| مؤلف1-الأخير = Polino| مؤلف2-الأول = Razvan| مؤلف2-الأخير = Pascanu| عنوان = Model compression via distillation and quantization| تاريخ = 01 فبراير 2018| مؤلف3-الأخير = Alistarh| مؤلف3-الأول = Dan}}</ref><ref name="QVU95">{{استشهاد بأرخايف| eprint = 2210.17323| class = cs.LG| مؤلف1-الأول = Elias| مؤلف1-الأخير = Frantar| مؤلف2-الأول = Saleh| مؤلف2-الأخير = Ashkboos| عنوان = GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers| تاريخ = 01 أكتوبر 2022| مؤلف3-الأخير = Hoefler| مؤلف3-الأول = Torsten| مؤلف4-الأخير = Alistarh| مؤلف4-الأول = Dan}}</ref> أبسط أشكال التكميم هو ببساطة تقريب جميع الأعداد إلى عدد معين من البتات. ويمكن تحسينه باستخدام مجموعة ترميز تكميم مختلفة لكل طبقة. ويمكن إجراء تحسين إضافي من خلال تطبيق دقّات مختلفة لمعاملات مختلفة، مع دقة أعلى للمعاملات المهمة بشكل خاص ("أوزان شاذة").<ref name="dU9Bu">{{استشهاد بأرخايف| eprint = 2306.03078| class = cs.CL| مؤلف1-الأول = Tim| مؤلف1-الأخير = Dettmers| مؤلف2-الأول = Ruslan| مؤلف2-الأخير = Svirschevski| عنوان = SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression| تاريخ = 01 يونيو 2023| مؤلف3-الأخير = Egiazarian| مؤلف3-الأول = Vage| مؤلف4-الأخير = Kuznedelev| مؤلف4-الأول = Denis| مؤلف5-الأخير = Frantar| مؤلف5-الأول = Elias| مؤلف6-الأخير = Ashkboos| مؤلف6-الأول = Saleh| مؤلف7-الأخير = Borzunov| مؤلف7-الأول = Alexander| مؤلف8-الأخير = Hoefler| مؤلف8-الأول = Torsten| مؤلف9-الأخير = Alistarh| مؤلف9-الأول = Dan}}</ref><ref>{{استشهاد بويب| مؤلف1-الأخير = Grootendorst| مؤلف1-الأول = Maarten| عنوان = A Visual Guide to Quantization| مسار = https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization| مسار أرشيف =https://web.archive.org/web/20240731003355/https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization| تاريخ أرشيف = 31 يوليو 2024| تاريخ الوصول = 31 يوليو 2024| موقع = newsletter.maartengrootendorst.com| لغة = الإنجليزية}}</ref>

في حين أنّ النماذج المكمّمة عادةً ما تكون مجمّدة، ويتمّ ضبط النماذج المكمّمة مسبقًا فقط، لا يزال من الممكن ضبط النماذج المكمّمة.<ref name="D0nFA">{{استشهاد بأرخايف| eprint = 2305.14314| class = cs.LG| مؤلف1-الأول = Tim| مؤلف1-الأخير = Dettmers| مؤلف2-الأول = Artidoro| مؤلف2-الأخير = Pagnoni| عنوان = QLoRA: Efficient Finetuning of Quantized LLMs| تاريخ = 01 مايو 2023| مؤلف3-الأخير = Holtzman| مؤلف3-الأول = Ari| مؤلف3-وصلة = Ari Holtzman| مؤلف4-الأخير = Zettlemoyer| مؤلف4-الأول = Luke}}</ref>

== الوسائط المتعددة ==
تعني الوسائط المتعددة "امتلاك عدة وسائط"، ويشير "الوسيط" إلى نوع من المدخلات أو المخرجات، مثل الفيديو، والصورة، والصوت، والنص، و<nowiki/>[[استقبال الحس العميق|الإحساس الحركي]]، وما إلى ذلك.<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Kiros| مؤلف1-الأول = Ryan| مؤلف2-الأخير = Salakhutdinov| مؤلف2-الأول = Ruslan| مؤلف3-الأخير = Zemel| مؤلف3-الأول = Rich| تاريخ = 18 يونيو 2014| عنوان = Multimodal Neural Language Models| مسار = https://proceedings.mlr.press/v32/kiros14.html| صحيفة = Proceedings of the 31st International Conference on Machine Learning| ناشر = PMLR| صفحات = 595–603| تاريخ الوصول = 02 يوليو 2023| تاريخ أرشيف = 02 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230702195952/https://proceedings.mlr.press/v32/kiros14.html| حالة المسار = live}}</ref> وقد دُربت العديد من نماذج الذكاء الاصطناعي خصيصًا لاستيعاب نمط واحد وإخراج نمط آخر، مثل [[ألكسنت]]"الصّورة إلى التّسمية"، <ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Krizhevsky| مؤلف1-الأول = Alex| مؤلف2-الأخير = Sutskever| مؤلف2-الأول = Ilya| مؤلف3-الأخير = Hinton| مؤلف3-الأول = Geoffrey E| تاريخ = 2012| عنوان = ImageNet Classification with Deep Convolutional Neural Networks| مسار = https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html| صحيفة = Advances in Neural Information Processing Systems| ناشر = Curran Associates, Inc.| المجلد = 25| تاريخ الوصول = 02 يوليو 2023| تاريخ أرشيف = 02 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230702195952/https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html| حالة المسار = live}}</ref> والإجابة على الأسئلة المرئية "صورة-نص إلى نص"، <ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Antol| مؤلف1-الأول = Stanislaw| مؤلف2-الأخير = Agrawal| مؤلف2-الأول = Aishwarya| مؤلف3-الأخير = Lu| مؤلف3-الأول = Jiasen| مؤلف4-الأخير = Mitchell| مؤلف4-الأول = Margaret| مؤلف5-الأخير = Batra| مؤلف5-الأول = Dhruv| مؤلف6-الأخير = Zitnick| مؤلف6-الأول = C. Lawrence| مؤلف7-الأخير = Parikh| مؤلف7-الأول = Devi| تاريخ = 2015| عنوان = VQA: Visual Question Answering| مسار = https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html| صحيفة = ICCV| صفحات = 2425–2433| تاريخ الوصول = 02 يوليو 2023| تاريخ أرشيف = 02 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230702195952/https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html| حالة المسار = live}}</ref> و<nowiki/>[[تعرف الكلام|التعرف على الكلام]] "كلام إلى نص".<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Li| مؤلف1-الأول = Junnan| مؤلف2-الأخير = Li| مؤلف2-الأول = Dongxu| مؤلف3-الأخير = Savarese| مؤلف3-الأول = Silvio| مؤلف4-الأخير = Hoi| مؤلف4-الأول = Steven| تاريخ = 01 يناير 2023| عنوان = BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models| class = cs.CV| eprint = 2301.12597}}</ref>

أظهر فلامينجو فعالية أسلوب التجزئة، حيث ضُبط زوج من نموذجي اللغة والمشفر المرئي المدربين مسبقًا لتحسين أدائهما في مجال الإجابة على الأسئلة المرئية مقارنة بالنماذج المدربة من الصفر.<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Alayrac| مؤلف1-الأول = Jean-Baptiste| مؤلف2-الأخير = Donahue| مؤلف2-الأول = Jeff| مؤلف3-الأخير = Luc| مؤلف3-الأول = Pauline| مؤلف4-الأخير = Miech| مؤلف4-الأول = Antoine| مؤلف5-الأخير = Barr| مؤلف5-الأول = Iain| مؤلف6-الأخير = Hasson| مؤلف6-الأول = Yana| مؤلف7-الأخير = Lenc| مؤلف7-الأول = Karel| مؤلف8-الأخير = Mensch| مؤلف8-الأول = Arthur| مؤلف9-الأخير = Millican| مؤلف9-الأول = Katherine| مؤلف10-الأخير = Reynolds| مؤلف10-الأول = Malcolm| مؤلف11-الأخير = Ring| مؤلف11-الأول = Roman| مؤلف12-الأخير = Rutherford| مؤلف12-الأول = Eliza| مؤلف13-الأخير = Cabi| مؤلف13-الأول = Serkan| مؤلف14-الأخير = Han| مؤلف14-الأول = Tengda| مؤلف15-الأخير = Gong| مؤلف15-الأول = Zhitao| تاريخ = 06 ديسمبر 2022| عنوان = Flamingo: a Visual Language Model for Few-Shot Learning| مسار = https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html| صحيفة = Advances in Neural Information Processing Systems| المجلد = 35| صفحات = 23716–23736| arxiv = 2204.14198| تاريخ الوصول = 02 يوليو 2023| تاريخ أرشيف = 02 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230702195951/https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html| حالة المسار = live}}</ref> ضُبط نموذج جوجل [[بالم (ذكاء اصطناعي)|بالم]] إلى نموذج متعدد الوسائط بالم-إي باستخدام أسلوب التجزئة، وطُبق على التحكم الآلي.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Driess| مؤلف1-الأول = Danny| مؤلف2-الأخير = Xia| مؤلف2-الأول = Fei| مؤلف3-الأخير = Sajjadi| مؤلف3-الأول = Mehdi S. M.| مؤلف4-الأخير = Lynch| مؤلف4-الأول = Corey| مؤلف5-الأخير = Chowdhery| مؤلف5-الأول = Aakanksha| مؤلف6-الأخير = Ichter| مؤلف6-الأول = Brian| مؤلف7-الأخير = Wahid| مؤلف7-الأول = Ayzaan| مؤلف8-الأخير = Tompson| مؤلف8-الأول = Jonathan| مؤلف9-الأخير = Vuong| مؤلف9-الأول = Quan| مؤلف10-الأخير = Yu| مؤلف10-الأول = Tianhe| مؤلف11-الأخير = Huang| مؤلف11-الأول = Wenlong| مؤلف12-الأخير = Chebotar| مؤلف12-الأول = Yevgen| مؤلف13-الأخير = Sermanet| مؤلف13-الأول = Pierre| مؤلف14-الأخير = Duckworth| مؤلف14-الأول = Daniel| مؤلف15-الأخير = Levine| مؤلف15-الأول = Sergey| تاريخ = 01 مارس 2023| عنوان = PaLM-E: An Embodied Multimodal Language Model| class = cs.LG| eprint = 2303.03378}}</ref> كما جرى تحويل نماذج لاما إلى نماذج متعددة الوسائط باستخدام أسلوب التجزئة، للسماح بإدخال الصور، <ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Liu| مؤلف1-الأول = Haotian| مؤلف2-الأخير = Li| مؤلف2-الأول = Chunyuan| مؤلف3-الأخير = Wu| مؤلف3-الأول = Qingyang| مؤلف4-الأخير = Lee| مؤلف4-الأول = Yong Jae| تاريخ = 01 أبريل 2023| عنوان = Visual Instruction Tuning| class = cs.CV| eprint = 2304.08485}}</ref> ومقاطع الفيديو.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Zhang| مؤلف1-الأول = Hang| مؤلف2-الأخير = Li| مؤلف2-الأول = Xin| مؤلف3-الأخير = Bing| مؤلف3-الأول = Lidong| تاريخ = 01 يونيو 2023| عنوان = Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding| class = cs.CL| eprint = 2306.02858}}</ref>

يمكن لنموذج [[جي بي تي-4]] استخدام كل من النص والصورة كمدخلات، <ref>{{استشهاد بأرخايف| eprint = 2303.08774| class = cs.CL| مؤلف1-الأخير = OpenAI| عنوان = GPT-4 Technical Report| تاريخ = 27 مارس 2023}}</ref><ref>{{استشهاد بويب| مؤلف1-الأخير = OpenAI| تاريخ = 25 سبتمبر 2023| عنوان = GPT-4V(ision) System Card| مسار = https://cdn.openai.com/papers/GPTV_System_Card.pdf| مسار أرشيف =https://archive.today/20230925210907/https://cdn.openai.com/papers/GPTV_System_Card.pdf| تاريخ أرشيف = 25 سبتمبر 2023| تاريخ الوصول = 07 أكتوبر 2024| صيغة = pdf| صحيفة = [[أوبن أيه آي]]}}</ref> كما أن جيميناي من جوجل [[ديب مايند]] يُعد نموذجًا متعدد الوسائط.<ref>{{استشهاد| مؤلف1-الأخير = Pichai| مؤلف1-الأول = Sundar| عنوان = Google Keynote (Google I/O '23)| تاريخ = 10 مايو 2023| مسار = https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s| تاريخ الوصول = 02 يوليو 2023| at = timestamp 15:31| مسار أرشيف =http://web.archive.org/web/20241226213352/https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s| تاريخ أرشيف =2024-12-26| صحيفة = i24News English}}</ref> قدمت شركة ميسترال نموذجها متعدد الوسائط الخاص "بيكسترال 12 بي" (Pixtral 12B) في سبتمبر 2024.<ref>{{استشهاد بويب| مؤلف1-الأخير = Wiggers| مؤلف1-الأول = Kyle| عنوان = Mistral releases Pixtral 12B, its first multimodal model| مسار = https://techcrunch.com/2024/09/11/mistral-releases-pixtral-its-first-multimodal-model/?utm_medium=aisecret.us&utm_source=aisecret.us&utm_campaign=aisecret.us| موقع = TechCrunch| تاريخ الوصول = 14 سبتمبر 2024| تاريخ = 11 سبتمبر 2024| مسار أرشيف =https://web.archive.org/web/20240914103423/https://techcrunch.com/2024/09/11/mistral-releases-pixtral-its-first-multimodal-model/?utm_medium=aisecret.us&utm_source=aisecret.us&utm_campaign=aisecret.us| تاريخ أرشيف = 14 سبتمبر 2024}}</ref>

== الخصائص ==
[[ملف:LLM emergent benchmarks.png|تصغير|عند النقاط التي يشار إليها باسم "نقاط الانكسار"، يتغير ميلان الخطوط، وتظهر في الرسم البياني الخطي اللوغاريتمي كسلسلة من المقاطع الخطية متصلة بأقواس.<ref name="IYm4Q"/>]]
يبدو أداء النماذج الحاسوبية الضخمة في تنفيذ مختلف المهام، عند تمثيله بيانيًا على مقياس لوغاريتمي مزدوج، وكأنه استقراء خطي لأداء النماذج الأصغر حجماً. ومع ذلك، قد تشهد هذه العلاقة الخطية "انكسارات" في قانون التوسع، <ref name="IYm4Q">{{استشهاد بأرخايف| eprint = 2210.14891| class = cs.LG| مؤلف1-الأول = Ethan| مؤلف1-الأخير = Caballero| مؤلف2-الأول = Kshitij| مؤلف2-الأخير = Gupta| عنوان = Broken Neural Scaling Laws| مؤلف3-الأخير = Rish| مؤلف3-الأول = Irina| مؤلف4-الأخير = Krueger| مؤلف4-الأول = David| سنة = 2022}}</ref> حيث يتغير ميل الخط بشكل مفاجئ، وتكتسب النماذج الأكبر حجمًا "قدرات جديدة"، <ref name="emergentpaper">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Wei| مؤلف1-الأول = Jason| مؤلف2-الأخير = Tay| مؤلف2-الأول = Yi| مؤلف3-الأخير = Bommasani| مؤلف3-الأول = Rishi| مؤلف4-الأخير = Raffel| مؤلف4-الأول = Colin| مؤلف5-الأخير = Zoph| مؤلف5-الأول = Barret| مؤلف6-الأخير = Borgeaud| مؤلف6-الأول = Sebastian| مؤلف7-الأخير = Yogatama| مؤلف7-الأول = Dani| مؤلف8-الأخير = Bosma| مؤلف8-الأول = Maarten| مؤلف9-الأخير = Zhou| مؤلف9-الأول = Denny| مؤلف10-الأخير = Metzler| مؤلف10-الأول = Donald| مؤلف11-الأخير = Chi| مؤلف11-الأول = Ed H.| مؤلف12-الأخير = Hashimoto| مؤلف12-الأول = Tatsunori| مؤلف13-الأخير = Vinyals| مؤلف13-الأول = Oriol| مؤلف14-الأخير = Liang| مؤلف14-الأول = Percy| مؤلف15-الأخير = Dean| مؤلف15-الأول = Jeff| تاريخ = 31 أغسطس 2022| عنوان = Emergent Abilities of Large Language Models| مسار = https://openreview.net/forum?id=yzkSU5zdwD| صحيفة = Transactions on Machine Learning Research| issn = 2835-8856| مؤلف16-الأخير = Fedus| مؤلف16-الأول = William| تاريخ الوصول = 19 مارس 2023| تاريخ أرشيف = 22 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230322210052/https://openreview.net/forum?id=yzkSU5zdwD| حالة المسار = live}}</ref><ref name="JM6s1">{{استشهاد بويب| عنوان = 137 emergent abilities of large language models| مسار = https://www.jasonwei.net/blog/emergence| تاريخ الوصول = 24 يونيو 2023| موقع = Jason Wei| مسار أرشيف =https://archive.today/20221114180415/https://www.jasonwei.net/blog/emergence| تاريخ أرشيف = 14 نوفمبر 2022}}</ref> ناشئة عن التفاعلات المعقدة بين مكونات النموذج، دون أن تكون مبرمجة أو مصممة صراحة.<ref>{{استشهاد بأرخايف| eprint = 2304.00612| class = cs.CL| مؤلف1-الأول = Samuel R.| مؤلف1-الأخير = Bowman| عنوان = Eight Things to Know about Large Language Models| سنة = 2023}}</ref>

أظهرت الدراسات الحديثة كذلك أن أنظمة الذكاء الاصطناعي، بما في ذلك نماذج اللغات الكبيرة، قادرة على استخدام الاستدلال التنبؤي المشابه للاستدلال البشري. فهي توازن بين المعالجة المنطقية الشاملة وبين استخدام اختصارات معرفية (الاستدلالات)، وتعدل استراتيجياتها الاستدلالية لتحقيق التوازن الأمثل بين الدقة والجهود المبذولة. يتوافق هذا السلوك مع مبادئ الإدراك البشري الاقتصادي للموارد، كما هو موضح في النظريات الكلاسيكية للعقلانية المحدودة ونظرية المعالجة المزدوجة.<ref name="Heuristic-Mukherjee">{{استشهاد بأرخايف| arxiv = 2403.09404| مؤلف1-الأخير = Mukherjee| مؤلف1-الأول = Anirban| مؤلف2-الأول = Hannah| مؤلف2-الأخير = Chang| عنوان = Heuristic Reasoning in AI: Instrumental Use and Mimetic Absorption| سنة = 2024}}</ref><ref name="fJta3">{{استشهاد بأرخايف| eprint = 2203.15556| class = cs.CL| مؤلف1-الأول = Jordan| مؤلف1-الأخير = Hoffmann| مؤلف2-الأول = Sebastian| مؤلف2-الأخير = Borgeaud| عنوان = Training Compute-Optimal Large Language Models| تاريخ = 29 مارس 2022| مؤلف3-الأخير = Mensch| مؤلف3-الأول = Arthur| مؤلف4-الأخير = Buchatskaya| مؤلف4-الأول = Elena| مؤلف5-الأخير = Cai| مؤلف5-الأول = Trevor| مؤلف6-الأخير = Rutherford| مؤلف6-الأول = Eliza| مؤلف7-الأخير = Casas| مؤلف7-الأول = Diego de Las| مؤلف8-الأخير = Hendricks| مؤلف8-الأول = Lisa Anne| مؤلف9-الأخير = Welbl| مؤلف9-الأول = Johannes| مؤلف10-الأخير = Clark| مؤلف10-الأول = Aidan| مؤلف11-الأخير = Hennigan| مؤلف11-الأول = Tom| مؤلف12-الأخير = Noland| مؤلف12-الأول = Eric| مؤلف13-الأخير = Millican| مؤلف13-الأول = Katie| مؤلف14-الأخير = Driessche| مؤلف14-الأول = George van den| مؤلف15-الأخير = Damoc| مؤلف15-الأول = Bogdan}}</ref>

من بين القدرات الناشئة الأكثر إثارة للاهتمام، القدرة على التعلم السياقي من خلال أمثلة توضيحية.<ref name="Hahn_20230314">{{استشهاد بأرخايف| eprint = 2303.07971| class = cs.LG| مؤلف1-الأول = Michael| مؤلف1-الأخير = Hahn| مؤلف2-الأول = Navin| مؤلف2-الأخير = Goyal| عنوان = A Theory of Emergent In-Context Learning as Implicit Structure Induction| تاريخ = 14 مارس 2023}}</ref> يتضمن [[هندسة التلقين|التعلم السياقي]] مهام مثل:
* إجراء العمليات الحسابية، فك رموز [[ألفبائية صوتية دولية|الأبجدية الصوتية الدولية]]، إعادة ترتيب حروف الكلمة، تحديد معنى الكلمة في سياقها،<ref name="emergentpaper"/><ref name="57FEA">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Pilehvar| مؤلف1-الأول = Mohammad Taher| مؤلف2-الأخير = Camacho-Collados| مؤلف2-الأول = Jose| عنوان = Proceedings of the 2019 Conference of the North| تاريخ = يونيو 2019| مسار = https://aclanthology.org/N19-1128| صحيفة = Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)| مكان = Minneapolis, Minnesota| ناشر = Association for Computational Linguistics| صفحات = 1267–1273| doi = 10.18653/v1/N19-1128| s2cid = 102353817| تاريخ الوصول = 27 يونيو 2023| تاريخ أرشيف = 27 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230627202732/https://aclanthology.org/N19-1128/| حالة المسار = live}}</ref><ref name="TEIkA">{{استشهاد بويب| عنوان = WiC: The Word-in-Context Dataset| مسار = https://pilehvar.github.io/wic/| تاريخ الوصول = 27 يونيو 2023| موقع = pilehvar.github.io| تاريخ أرشيف = 27 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230627202725/https://pilehvar.github.io/wic/| حالة المسار = live}}</ref> تحويل الألفاظ المكانية و<nowiki/>[[اتجاه سماوي|اتجاهات الأركان الأساسية]] (مثل الرد بـ"الشمال الشرقي" عند إعطاء الإحداثيات [0, 0, 1; 0, 0, 0; 0, 0, 0])، وتحديد الألوان المذكورة نصًا.<ref name="zgy1i">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Patel| مؤلف1-الأول = Roma| مؤلف2-الأخير = Pavlick| مؤلف2-الأول = Ellie| تاريخ = 06 أكتوبر 2021| عنوان = Mapping Language Models to Grounded Conceptual Spaces| مسار = https://openreview.net/forum?id=gJcEM8sxHK| صحيفة = ICLR| تاريخ الوصول = 27 يونيو 2023| تاريخ أرشيف = 24 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230624191940/https://openreview.net/forum?id=gJcEM8sxHK| حالة المسار = live}}</ref>
* التوجيه المتسلسل: تتحسن نواتج النموذج باستخدام التوجيه المتسلسل فقط عندما يتجاوز حجم النموذج 62 مليار معلمة. وتؤدي النماذج الأصغر أداءً أفضل عندما يُطلب منها الإجابة مباشرة دون اتباع سلسلة من الأفكار.<ref name="Imb98">{{استشهاد بويب| مسار = https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f| مسار أرشيف =https://web.archive.org/web/20230624012329/https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f| تاريخ أرشيف = 24 يونيو 2023| عنوان = A Closer Look at Large Language Models Emergent Abilities| تاريخ الوصول = 07 أكتوبر 2024}}</ref>
* التعرف على المحتوى المسيء في فقرات [[هنجليزية|الهنجليزية]] (مزيج من الهندية والإنجليزية)، وتوليد معادل إنجليزي مشابه للأمثال [[اللغة السواحلية|السواحلية]].<ref name="CeQVF">{{استشهاد بويب| مؤلف1-الأخير = Ornes| مؤلف1-الأول = Stephen| تاريخ = 16 مارس 2023| عنوان = The Unpredictable Abilities Emerging From Large AI Models| مسار = https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/| موقع = Quanta Magazine| تاريخ الوصول = 16 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316203438/https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/| حالة المسار = live}}</ref>

يُجادل شافر وزملاؤه بأن القدرات الناشئة لا تُكتسب بشكل غير متوقع، بل تُكتسب بشكل متوقع وفقًا {{وإو|قانون القياس العصبي|Neural scaling law|نص=لقانون تحجيم سلس}}. وقد نظر المؤلفون في نموذج إحصائي مصغر لنموذج لغوي كبير يحل أسئلة الاختيار من متعدد، وأظهروا أن هذا النموذج الإحصائي، المعدل لحساب أنواع أخرى من المهام، ينطبق على هذه المهام أيضًا.<ref name="C775b">{{cite arXiv | eprint = 2304.15004| class = cs.AI| مؤلف1-الأول = Rylan| مؤلف1-الأخير = Schaeffer| مؤلف2-الأول = Brando| مؤلف2-الأخير = Miranda| عنوان = Are Emergent Abilities of Large Language Models a Mirage?| تاريخ = 01 أبريل 2023| مؤلف3-الأخير = Koyejo| مؤلف3-الأول = Sanmi}}</ref>

== التفسير ==
تُعتبر نماذج اللغات الكبيرة بمثابة [[صندوق أسود (سبرانية)|صناديق سوداء]]، إذ يصعب فهم الكيفية التي تؤدي بها مهامها اللغوية المتعددة. ولتسليط الضوء على آليات عمل هذه النماذج،برزت عدة منهجيات بحثية. من بينها "قابلية التفسير الآلية" التي تهدف إلى [[هندسة عكسية|فك شفرة البنية الداخلية]] لهذه النماذج وكشف الخوارزميات الكامنة وراء استدلالاتها. وقد أثمرت هذه المنهجية عن نتائج واعدة في عدة دراسات.

في دراسة أولى دُرب نموذج محول صغير على [[لعبة ريفيرسي]] (Othello)، ونجح الباحثون في اكتشاف تمثيل خطي لوضع اللعبة على اللوحة، حيث يؤدي تعديل هذا التمثيل إلى تغير الحركات المقترحة بشكل منطقي.<ref name="IZSIr">{{استشهاد بأرخايف| eprint = 2210.13382| class = cs.LG| مؤلف1-الأول = Kenneth| مؤلف1-الأخير = Li| مؤلف2-الأول = Aspen K.| مؤلف2-الأخير = Hopkins| عنوان = Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task| تاريخ = 01 أكتوبر 2022| مؤلف3-الأخير = Bau| مؤلف3-الأول = David| مؤلف4-الأخير = Viégas| مؤلف4-الأول = Fernanda| مؤلف5-الأخير = Pfister| مؤلف5-الأول = Hanspeter| مؤلف6-الأخير = Wattenberg| مؤلف6-الأول = Martin}}</ref><ref name="RLik9">{{استشهاد بويب| تاريخ = 21 يناير 2023| عنوان = Large Language Model: world models or surface statistics?| مسار = https://thegradient.pub/othello/| تاريخ الوصول = 12 يونيو 2023| موقع = The Gradient| مسار أرشيف =https://archive.today/20230401050625/https://thegradient.pub/othello/| تاريخ أرشيف = 01 أبريل 2023}}</ref> وفي دراسة أخرى دُرب نموذج مماثل على لغة البرمجة "كارل"، وكشفت النتائج عن تمثيل خطي لدلالات هذه اللغة، مما سمح بتعديل الناتج البرمجي بشكل متوقع. والأكثر من ذلك، أن النموذج تمكن من توليد برامج أقصر وأكثر كفاءة من تلك الموجودة في مجموعة التدريب.<ref name="Hln1l">{{استشهاد بأرخايف| eprint = 2305.11169| class = cs.LG| مؤلف1-الأول = Charles| مؤلف1-الأخير = Jin| مؤلف2-الأول = Martin| مؤلف2-الأخير = Rinard| عنوان = Evidence of Meaning in Language Models Trained on Programs| تاريخ = 01 مايو 2023}}</ref>

وفي دراسة أخرى درّب باحثون نماذج محولة صغيرة على عملية الجمع في [[حساب مقاسي|الحسابات العددية]]، ونجح الباحثون في عكس هندسة هذه النماذج واكتشفوا أنها تستخدم [[تحويل فورييه المتقطع|تحويل فورييه المنفصل]] لحل هذه العملية.<ref name="oYGlo">{{استشهاد بأرخايف| eprint = 2301.05217| class = cs.LG| مؤلف1-الأول = Neel| مؤلف1-الأخير = Nanda| مؤلف2-الأول = Lawrence| مؤلف2-الأخير = Chan| عنوان = Progress measures for grokking via mechanistic interpretability| تاريخ = 01 يناير 2023| مؤلف3-الأخير = Lieberum| مؤلف3-الأول = Tom| مؤلف4-الأخير = Smith| مؤلف4-الأول = Jess| مؤلف5-الأخير = Steinhardt| مؤلف5-الأول = Jacob}}</ref>

=== الفهم والذكاء ===
{{أيضا|ثنائية العقل والجسد}}
انقسم الباحثون المتخصصون في [[معالجة اللغة الطبيعية]] انقسامًا تامًا عندما سُئلوا، في استطلاع رأي أُجري عام 2022، عما إذا كانت نماذج اللغة الكبيرة غير المدربة قادرة على فهم اللغة الطبيعية فهمًا حقيقيًا ومعمقاً.<ref name="debate understanding">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Mitchell| مؤلف1-الأول = Melanie| مؤلف2-الأخير = Krakauer| مؤلف2-الأول = David C.| تاريخ = 28 مارس 2023| عنوان = The debate over understanding in AI's large language models| صحيفة = Proceedings of the National Academy of Sciences| المجلد = 120| العدد = 13| صفحات = e2215907120| arxiv = 2210.13966| bibcode = 2023PNAS..12015907M| doi = 10.1073/pnas.2215907120| pmc = 10068812| pmid = 36943882| مسار = https://doi.org/10.1073/pnas.2215907120| مسار أرشيف =https://archive.today/20230722100839/https://doi.org/10.1073/pnas.2215907120| تاريخ أرشيف = 22 يوليو 2023| تاريخ الوصول = 07 أكتوبر 2024}}</ref> يرى مؤيدو فكرة قدرة هذه النماذج على [[فهم اللغات الطبيعية|الفهم]] أن بعض قدراتها، مثل القدرة على التفكير الرياضي، تشير إلى وجود فهم حقيقي للمفاهيم. وقد ذهب فريق من شركة مايكروسوفت في عام 2023 إلى أبعد من ذلك، مدعيًا أن نموذج [[جي بي تي-4]] قادر على حل مسائل جديدة ومعقدة في مجالات متنوعة كالرياضيات، والتشفير، والرؤية، والطب، والقانون، وعلم النفس وغيرها، واصفين إياه بأنه نسخة أولية، وإن كانت غير كاملة، [[ذكاء عام اصطناعي|لذكاء اصطناعي عام]]. وقد تساءلوا: "هل يمكننا إنكار ذكاء نظامٍ قادر على اجتياز اختبارات مبرمجي الكمبيوتر؟" <ref name="O8Upd">{{استشهاد بخبر| مؤلف1-الأخير = Metz| مؤلف1-الأول = Cade| تاريخ = 16 مايو 2023| عنوان = Microsoft Says New A.I. Shows Signs of Human Reasoning| عمل = The New York Times| مسار = https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html| تاريخ الوصول = 07 أكتوبر 2024| مسار أرشيف =http://web.archive.org/web/20250130193451/https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html| تاريخ أرشيف =2025-01-30}}</ref><ref name="microsoft sparks">{{استشهاد بأرخايف| eprint = 2303.12712| class = cs.CL| مؤلف1-الأول = Sébastien| مؤلف1-الأخير = Bubeck| مؤلف2-الأول = Varun| مؤلف2-الأخير = Chandrasekaran| عنوان = Sparks of Artificial General Intelligence: Early experiments with GPT-4| تاريخ = 2023| مؤلف3-الأخير = Eldan| مؤلف3-الأول = Ronen| مؤلف4-الأخير = Gehrke| مؤلف4-الأول = Johannes| مؤلف5-الأخير = Horvitz| مؤلف5-الأول = Eric| مؤلف6-الأخير = Kamar| مؤلف6-الأول = Ece| مؤلف7-الأخير = Lee| مؤلف7-الأول = Peter| مؤلف8-الأخير = Lee| مؤلف8-الأول = Yin Tat| مؤلف9-الأخير = Li| مؤلف9-الأول = Yuanzhi| مؤلف10-الأخير = Lundberg| مؤلف10-الأول = Scott| مؤلف11-الأخير = Nori| مؤلف11-الأول = Harsha| مؤلف12-الأخير = Palangi| مؤلف12-الأول = Hamid| مؤلف13-الأخير = Ribeiro| مؤلف13-الأول = Marco Tulio| مؤلف14-الأخير = Zhang| مؤلف14-الأول = Yi}}</ref>

يصف بعض الباحثين هذه النماذج بأنها تمثل نوعًا من "الذكاء الغريب".<ref name="rEEmH">{{استشهاد بخبر| تاريخ = 2023| عنوان = ChatGPT is more like an 'alien intelligence' than a human brain, says futurist| عمل = ZDNET| مسار = https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/| تاريخ الوصول = 12 يونيو 2023| تاريخ أرشيف = 12 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230612065937/https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/| حالة المسار = live}}</ref><ref name="new yorker kind of mind">{{استشهاد بمجلة| مؤلف1-الأخير = Newport| مؤلف1-الأول = Cal| تاريخ = 13 أبريل 2023| عنوان = What Kind of Mind Does ChatGPT Have?| مسار = https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have| مجلة = The New Yorker| تاريخ الوصول = 12 يونيو 2023| تاريخ أرشيف = 12 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230612071443/https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have| حالة المسار = live}}</ref> فعلى سبيل المثال، يرى كونور ليحي، الرئيس التنفيذي لشركة كونجكتشر، أن هذه النماذج تشبه الكائنات الغريبة والغامضة، وأن عملية التدريب المعروفة بـ RLHF تخلق واجهة ودودة تخفي العمليات الداخلية المعقدة لهذه النماذج. ويشبه الأمر قناعًا مبتسمًا يختفي خلفه عمق من الجنون والتفكير الغريب الذي يختلف جذريًا عن التفكير البشري.<ref name="rAFIZ">{{استشهاد بخبر| مؤلف1-الأخير = Roose| مؤلف1-الأول = Kevin| تاريخ = 30 مايو 2023| عنوان = Why an Octopus-like Creature Has Come to Symbolize the State of A.I.| عمل = The New York Times| مسار = https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html| تاريخ الوصول = 12 يونيو 2023| تاريخ أرشيف = 30 مايو 2023| مسار أرشيف =https://web.archive.org/web/20230530193814/https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html| حالة المسار = live}}</ref><ref name="4luKE">{{استشهاد بخبر| تاريخ = 13 أبريل 2023| عنوان = The A to Z of Artificial Intelligence| عمل = Time Magazine| مسار = https://time.com/6271657/a-to-z-of-artificial-intelligence/| تاريخ الوصول = 12 يونيو 2023| تاريخ أرشيف = 16 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230616123839/https://time.com/6271657/a-to-z-of-artificial-intelligence/| حالة المسار = live}}</ref>

على النقيض من ذلك يزعم أصحاب المدرسة التي تنفي فهم النماذج اللغوية الكبيرة أن هذه النماذج "لا تفعل سوى خلط ودمج النصوص الموجودة"، <ref name="new yorker kind of mind"/> وهي ظاهرة تعرف بالببغاء العشوائي، أو يشيرون إلى العجز المستمر لهذه النماذج في مهارات التنبؤ والتفكير والإرادة والتفسير.<ref name="debate understanding"/> فعلى سبيل المثال، يعاني نموذج جي بي تي-4 من قصور جلي في التخطيط والتعلم الفوري.<ref name="microsoft sparks"/> وقد لوحظ أن النماذج اللغوية التوليدية تؤكد بثقة على ادعاءات حقائقية لا يبدو أنها [[نظرية التبرير (نظرية المعرفة)|مدعومة]][[بيانات التدريب والتحقق والاختبار|ببيانات تدريبها]]، وهي ظاهرة عرفت [[هلوسة (ذكاء اصطناعي)|بالهلوسة]].<ref name="hallucination-survey">{{استشهاد بدورية محكمة| مؤلف1-الأخير = Ji| مؤلف1-الأول = Ziwei| مؤلف2-الأخير = Lee| مؤلف2-الأول = Nayeon| مؤلف3-الأخير = Frieske| مؤلف3-الأول = Rita| مؤلف4-الأخير = Yu| مؤلف4-الأول = Tiezheng| مؤلف5-الأخير = Su| مؤلف5-الأول = Dan| مؤلف6-الأخير = Xu| مؤلف6-الأول = Yan| مؤلف7-الأخير = Ishii| مؤلف7-الأول = Etsuko| مؤلف8-الأخير = Bang| مؤلف8-الأول = Yejin| مؤلف9-الأخير = Dai| مؤلف9-الأول = Wenliang| مؤلف10-الأخير = Madotto| مؤلف10-الأول = Andrea| مؤلف11-الأخير = Fung| مؤلف11-الأول = Pascale| تاريخ = نوفمبر 2022| عنوان = Survey of Hallucination in Natural Language Generation| مسار = https://dl.acm.org/doi/pdf/10.1145/3571730| صيغة = pdf| صحيفة = ACM Computing Surveys| ناشر = [[جمعية آلات الحوسبة]]| المجلد = 55| العدد = 12| صفحات = 1–38| arxiv = 2202.03629| doi = 10.1145/3571730| s2cid = 246652372| تاريخ الوصول = 15 يناير 2023| تاريخ أرشيف = 26 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230326145635/https://dl.acm.org/doi/pdf/10.1145/3571730| حالة المسار = live}}</ref> وبالتحديد، تتجلى الهلوسة في سياق هذه النماذج في توليد نصوص أو استجابات نحوية سلسة وطبيعية ولكنها خاطئة واقعيًا أو غير منطقية أو غير موثوقة بالنسبة للمعلومات المدخلة.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Varshney| مؤلف1-الأول = Neeraj| مؤلف2-الأخير = Yao| مؤلف2-الأول = Wenlin| مؤلف3-الأخير = Zhang| مؤلف3-الأول = Hongming| مؤلف4-الأخير = Chen| مؤلف4-الأول = Jianshu| مؤلف5-الأخير = Yu| مؤلف5-الأول = Dong| عنوان = A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation| تاريخ = 2023| class = cs.CL| eprint = 2307.03987}}</ref> وقد جادل عالم الأعصاب تيرينس سيجنوفسكي بأن "اختلاف آراء الخبراء حول ذكاء النماذج اللغوية الكبيرة يشير إلى أن مفاهيمنا التقليدية عن الذكاء الطبيعي غير كافية".<ref name="debate understanding"/>

تتضمن مسألة محاكاة الذكاء أو الفهم البشري بواسطة نماذج اللغة الكبيرة وجهين رئيسيين: الأول يكمن في كيفية تمثيل الفكر واللغة ضمن نظام حاسوبي، والثاني يتمثل في تمكين هذا النظام من توليد لغة شبيهة باللغة البشرية.<ref name="debate understanding"/> وقد تطورت هذه الجوانب اللغوية كنموذج للإدراك في [[لسانيات معرفية|حقل اللغويات الإدراكية]]. وقد قدم اللغوي الأمريكي [[جورج لاكوف]] نظرية الأعصاب اللغوية (NTL) كأساس حسابي لاستخدام اللغة كنموذج لمهام [[لسانيات معرفية|التعلم والفهم]].<ref>{{استشهاد بكتاب| عنوان = Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Philosophy; Appendix: The Neural Theory of Language Paradigm| مؤلف1-الأخير = Lakoff| مؤلف1-الأول = George| ناشر = New York Basic Books| سنة = 1999| isbn = 978-0-465-05674-3| صفحات = 569–583}}</ref> وتلخص هذه النظرية كيف تشكل البنى العصبية المحددة في الدماغ البشري طبيعة الفكر واللغة، وبالتالي ما هي الخصائص الحسابية لهذه الأنظمة العصبية التي يمكن تطبيقها لنمذجة الفكر واللغة في نظام حاسوبي.<ref>{{استشهاد بويب| عنوان = NTL {{!}} ICSI| مسار = https://www.icsi.berkeley.edu/icsi/projects/ai/ntl| تاريخ الوصول = 10 نوفمبر 2024| صحيفة = www.icsi.berkeley.edu}}</ref>

وبعد تأسيس إطار عمل لنمذجة اللغة في أنظمة الحاسوب، تحول الاهتمام إلى بناء أطر عمل تتيح لهذه الأنظمة توليد لغة تتبع قواعد نحوية مقبولة. وفي كتابه الصادر عام 2014 بعنوان "أسطورة اللغة: لماذا اللغة ليست غريزة" {{إنج|The Language Myth: Why Language Is Not An Instinct}}، رسم اللغوي الإدراكي البريطاني وخبير تكنولوجيا الاتصالات الرقمية فيفيان إيفانز دور [[القواعد الاحتمالية الخالية من السياق|القواعد النحوية الاحتمالية الخالية من السياق]] (PCFG) في تمكين معالجة اللغات الطبيعية من محاكاة الأنماط الإدراكية وتوليد لغة شبيهة باللغة البشرية.<ref>{{استشهاد بكتاب| عنوان = The Language Myth| مؤلف1-الأخير = Evans| مؤلف1-الأول = Vyvyan.| ناشر = Cambridge University Press| سنة = 2014| isbn = 978-1-107-04396-1}}</ref><ref>{{استشهاد بكتاب| عنوان = Active Inference: The Free Energy Principle in Mind, Brain, and Behavior; Chapter 4 The Generative Models of Active Inference| مؤلف1-الأخير = Friston| مؤلف1-الأول = Karl J.| ناشر = The MIT Press| سنة = 2022| isbn = 978-0-262-36997-8}}</ref>

== التقييم ==
=== الحيرة ===

المقياس التقليدي لأداء نموذج اللغة الكبير هو درجة [[إرباك|حيرته]] على مجموعة نصية معينة. يقيس الحيرة مدى قدرة النموذج على التنبؤ بمحتويات مجموعة البيانات؛ فكلما زادت احتمالية تعيين النموذج لمجموعة البيانات، قلت درجة حيرته. بعبارات رياضية، الحيرة هي الأس الأسية لمتوسط سالب لوغاريتم الاحتمال لكل رمز.

<math>Perplexity = exp(-\frac{1}{N} \sum_{i=1}^{N} log P(token_i | context for token_i))</math>

حيث يُمثل <math>N</math> عدد الرموز في مجموعة النص، و"سياق الرمز <math>i</math>" يعتمد على نوع نموذج اللغة الكبير المحدد. إذا كان النموذج تلقائي التراجع، فإن "سياق الرمز <math>i</math>" هو جزء النص الذي يظهر قبل الرمز <math>i</math>. وإذا كان النموذج مُقنّعًا فإن "سياق الرمز <math>i</math>" هو جزء النص المحيط بالرمز <math>i</math>.

نظرًا لأن نماذج اللغة قد [[فرط الملاءمة|تُفرط في ملاءمتها]] لبيانات تدريبها، فعادةً ما تُقيم النماذج من خلال درجة حيرتها على [[بيانات التدريب والتحقق والاختبار|مجموعة اختبار]].<ref name="jm"/> قد يكون هذا التقييم مشكلة بالنسبة للنماذج الأكبر حجمًا، والتي تصبح أكثر عرضة لإدراج أجزاء من أي مجموعة اختبار معينة مع زيادة حجم مجموعات النص التي يدُرِّبت عليها.<ref name="few-shot-learners"/>

==== بتات لكل كلمة أو حرف أو رمز ====
في [[نظرية المعلومات]]، ترتبط صفة [[اعتلاج (نظرية المعلومات)|الإنتروبيا]] ارتباطًا وثيقًا بمفهوم الغموض، وهو ارتباط أسسه بوضوح [[كلود شانون]].<ref name="Huyen">{{استشهاد بويب| مسار = https://thegradient.pub/understanding-evaluation-metrics-for-language-models/| عنوان = Evaluation Metrics for Language Modeling| مؤلف1-الأخير = Huyen| مؤلف1-الأول = Chip| تاريخ = 18 أكتوبر 2019| موقع = The Gradient| تاريخ الوصول = 14 يناير 2024| مسار أرشيف =https://archive.today/20210825185259/https://thegradient.pub/understanding-evaluation-metrics-for-language-models/| تاريخ أرشيف = 25 أغسطس 2021}}</ref> تُعبَّر هذه العلاقة رياضيًا على النحو التالي: الإنتروبيا = لو<sub>2</sub> (الغموض).

<math>\text{Entropy} = \log_2(\text{Perplexity})</math>

تقاس الإنتروبيا، في هذا السياق، عادة بوحدات البتات لكل كلمة (BPW) أو البتات لكل حرف (BPC)، وذلك تبعًا لاختيار نموذج اللغة لتجزئة النص إلى كلمات أو أحرف.

جدير بالذكر أنه في نماذج اللغة الكبيرة التي تعتمد غالبًا على تجزئة الكلمات إلى أجزاء أصغر، يبدو أن البتات لكل رمز مميز (BPT) مقياسًا أنسب. ومع ذلك نظرًا للاختلاف في أساليب التجزئة بين نماذج اللغة الكبيرة، فإن مقياس BPT ليس موثوقًا به للمقارنة بين نماذج مختلفة. لتحويل BPT إلى BPW، يمكن ضرب القيمة الأولى في متوسط عدد الرموز المميزة لكل كلمة.

عند تقييم ومقارنة نماذج اللغة يُفضل عادة استخدام [[أنتروبيا متقاطعة|الإنتروبيا المتقاطعة]] بدلًا من الإنتروبيا المطلقة. الفكرة الأساسية هي أن قيمة BPW الأقل تشير إلى قدرة أفضل للنموذج على الضغط، مما يعكس بدوره كفاءة النموذج في إجراء تنبؤات دقيقة.

=== مجموعات البيانات والمعايير الخاصة بالمهام ===
طُوِّرَتْ في المراحل اللاحقة مجموعات بيانات عديدة و<nowiki/>[[مقياس الأداء (الحوسبة)|مقاييس اختبار]] لتقييم قدرات نماذج اللغات في مهام أكثر تحديدًا. صُمِّمت هذه الاختبارات لتقييم مجموعة واسعة من القدرات، بما في ذلك المعرفة العامة و<nowiki/>[[تفكير بديهي|التفكير المنطقي]] وحل المسائل الرياضية.

إحدى الفئات الشائعة لمجموعات البيانات التقييمية هي مجموعات بيانات الإجابة على الأسئلة، التي تتكون من أزواج من الأسئلة وإجاباتها الصحيحة، مثل: "هل فاز منتخب اليمن بكأس العالم لكرة القدم؟" - "لا".<ref name="boolq">{{استشهاد بأرخايف| eprint = 1905.10044| class = cs.CL| مؤلف1-الأول = Christopher| مؤلف1-الأخير = Clark| مؤلف2-الأول = Kenton| مؤلف2-الأخير = Lee| عنوان = BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions| مؤلف3-الأخير = Chang| مؤلف3-الأول = Ming-Wei| مؤلف4-الأخير = Kwiatkowski| مؤلف4-الأول = Tom| مؤلف5-الأخير = Collins| مؤلف5-الأول = Michael| مؤلف6-الأخير = Toutanova| مؤلف6-الأول = Kristina| سنة = 2019}}</ref> تُعتبر مهمة الإجابة على الأسئلة "مفتوحة" إذا تضمنت مطالبة النموذج بنص يمكن استخلاص الإجابة المتوقعة منه (مثل: يمكن إضافة السؤال السابق إلى نص يتضمن الجملة "تقدّم منتخب اليمن إلى نهائيات كأس العالم مرة واحدة وخسر أمام منتخب السعودية في عام 2016").<ref name="boolq"/> أما إذا كان على النموذج الاعتماد على المعرفة التي اكتسبها خلال التدريب، فتُعتبر المهمة "مغلقة".<ref name="survey">{{استشهاد بأرخايف| eprint = 2303.18223| class = cs.CL| مؤلف1 = Wayne Xin Zhao| مؤلف2-الأول = Kun| مؤلف2-الأخير = Zhou| عنوان = A Survey of Large Language Models| مؤلف3-الأخير = Li| مؤلف3-الأول = Junyi| مؤلف4-الأخير = Tang| مؤلف4-الأول = Tianyi| مؤلف5-الأخير = Wang| مؤلف5-الأول = Xiaolei| مؤلف6-الأخير = Hou| مؤلف6-الأول = Yupeng| مؤلف7-الأخير = Min| مؤلف7-الأول = Yingqian| مؤلف8-الأخير = Zhang| مؤلف8-الأول = Beichen| مؤلف9-الأخير = Zhang| مؤلف9-الأول = Junjie| مؤلف10-الأخير = Dong| مؤلف10-الأول = Zican| مؤلف11-الأخير = Du| مؤلف11-الأول = Yifan| مؤلف12-الأخير = Yang| مؤلف12-الأول = Chen| مؤلف13-الأخير = Chen| مؤلف13-الأول = Yushuo| مؤلف14-الأخير = Chen| مؤلف14-الأول = Zhipeng| مؤلف15-الأخير = Jiang| مؤلف15-الأول = Jinhao| مؤلف16-الأخير = Ren| مؤلف16-الأول = Ruiyang| مؤلف17-الأخير = Li| مؤلف17-الأول = Yifan| مؤلف18-الأخير = Tang| مؤلف18-الأول = Xinyu| مؤلف19-الأخير = Liu| مؤلف19-الأول = Zikang| مؤلف20-الأخير = Liu| مؤلف20-الأول = Peiyu| مؤلف21-الأخير = Nie| مؤلف21-الأول = Jian-Yun| مؤلف22-الأخير = Wen| مؤلف22-الأول = Ji-Rong| سنة = 2023}}</ref><ref name="survey"/>

قد تأخذ مجموعات البيانات التقييمية شكل إكمال النص، حيث يُطلب من النموذج اختيار الكلمة أو الجملة الأنسب لإكمال عبارة ما، مثل: "كانت فاطمة صديقة لسارة. ذهبت فاطمة لزيارة صديقتها، ____".<ref name="few-shot-learners"/>

طُوِّرت أيضًا مقاييس أداء مركبة تجمع بين مجموعة متنوعة من مجموعات البيانات والمهام التقييمية المختلفة. من الأمثلة عليها: جلو، وسوبر جلو وبيج-بنش.<ref name="Huyen"/><ref name="survey"/> أصدرت شركة أوبن أيه آي أدوات لتشغيل مقاييس الأداء المركبة، لكنها لاحظت أن نتائج التقييم حساسة لطريقة صياغة المطالبة.<ref>{{استشهاد| عنوان = openai/simple-evals| تاريخ = 28 مايو 2024| مسار = https://github.com/openai/simple-evals| تاريخ الوصول = 28 مايو 2024| ناشر = OpenAI| مسار أرشيف =https://web.archive.org/web/20241004010810/https://github.com/openai/simple-evals| تاريخ أرشيف = 04 أكتوبر 2024| صحيفة = [[غيت هاب]]}}</ref><ref>{{استشهاد| عنوان = openai/evals| تاريخ = 28 مايو 2024| مسار = https://github.com/openai/evals| تاريخ الوصول = 28 مايو 2024| ناشر = OpenAI| تاريخ أرشيف = 08 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240508225708/https://github.com/openai/evals| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref> تحتوي بعض مجموعات البيانات العامة على أسئلة خاطئة أو غامضة أو لا يمكن الإجابة عليها أو ذات جودة منخفضة، ويمكن تنظيفها للحصول على نتائج أداء أكثر موثوقية.<ref>{{استشهاد بويب| عنوان = Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model| مسار = https://imbue.com/research/70b-evals/| تاريخ الوصول = 24 يوليو 2024| موقع = imbue.com| لغة = الإنجليزية| تاريخ أرشيف = 26 يوليو 2024| مسار أرشيف =https://web.archive.org/web/20240726173012/https://imbue.com/research/70b-evals/| حالة المسار = live}}</ref>

كان من المعتاد سابقًا الإبلاغ عن النتائج على جزء مؤجل من مجموعة البيانات التقييمية بعد إجراء ضبط دقيق مراقب على الباقي. أصبح من الشائع الآن تقييم نموذج مدرب مسبقًا مباشرة من خلال تقنيات المطالبة، رغم اختلاف الباحثين في تفاصيل صياغة المطالبات لمهام معينة، لا سيما فيما يتعلق بعدد أمثلة المهام التي تُضمن في المطالبة (أي قيمة n في مطالبة اللقطات n).

==== التقييمات المُصمّمة خصيصًا ====
سبب التطور المتسارع في نماذج اللغات الكبيرة، فقد عانت مقاييس الأداء من قصر عمرها الافتراضي. إذ سرعان ما "تشبع" هذه النماذج المتقدمة من المقاييس الحالية، متجاوزة أداء البشر المتخصصين. مما دفع الباحثين إلى البحث عن مهام أكثر تعقيدًا لاستبدال هذه المقاييس أو تعزيزها.<ref name="bigbench">{{استشهاد بأرخايف| eprint = 2206.04615| class = cs.CL| مؤلف1-الأول = Aarohi| مؤلف1-الأخير = Srivastava| مؤلف2-الأول = Abhinav| مؤلف2-الأخير = Rastogi| عنوان = Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models| مؤلف3-الأخير = Rao| مؤلف3-الأول = Abhishek| مؤلف4 = Abu Awal Md Shoeb| مؤلف5-الأخير = Abid| مؤلف5-الأول = Abubakar| مؤلف6-الأخير = Fisch| مؤلف6-الأول = Adam| مؤلف7-الأخير = Brown| مؤلف7-الأول = Adam R.| مؤلف8-الأخير = Santoro| مؤلف8-الأول = Adam| مؤلف9-الأخير = Gupta| مؤلف9-الأول = Aditya| مؤلف10-الأخير = Garriga-Alonso| مؤلف10-الأول = Adrià| مؤلف11-الأخير = Kluska| مؤلف11-الأول = Agnieszka| مؤلف12-الأخير = Lewkowycz| مؤلف12-الأول = Aitor| مؤلف13-الأخير = Agarwal| مؤلف13-الأول = Akshat| مؤلف14-الأخير = Power| مؤلف14-الأول = Alethea| مؤلف15-الأخير = Ray| مؤلف15-الأول = Alex| مؤلف16-الأخير = Warstadt| مؤلف16-الأول = Alex| مؤلف17-الأخير = Kocurek| مؤلف17-الأول = Alexander W.| مؤلف18-الأخير = Safaya| مؤلف18-الأول = Ali| مؤلف19-الأخير = Tazarv| مؤلف19-الأول = Ali| مؤلف20-الأخير = Xiang| مؤلف20-الأول = Alice| مؤلف21-الأخير = Parrish| مؤلف21-الأول = Alicia| مؤلف22-الأخير = Nie| مؤلف22-الأول = Allen| مؤلف23-الأخير = Hussain| مؤلف23-الأول = Aman| مؤلف24-الأخير = Askell| مؤلف24-الأول = Amanda| مؤلف25-الأخير = Dsouza| مؤلف25-الأول = Amanda| مؤلف26-الأخير = Slone| مؤلف26-الأول = Ambrose| مؤلف27-الأخير = Rahane| مؤلف27-الأول = Ameet| مؤلف28-الأخير = Iyer| مؤلف28-الأول = Anantharaman S.| مؤلف29-الأخير = Andreassen| مؤلف29-الأول = Anders| مؤلف30-الأخير = Madotto| مؤلف30-الأول = Andrea| سنة = 2022| إظهار المؤلفين = 1}}</ref> بالإضافة إلى ذلك، ظهرت ظاهرة "تعلم الاختصارات"، حيث تلجأ أنظمة الذكاء الاصطناعي أحيانًا إلى خداع اختبارات الاختيار. وذلك من خلال استغلال الارتباطات الإحصائية البسيطة في صياغة الأسئلة، مما يسمح لها بتخمين الإجابات الصحيحة دون بالضرورة فهم المعنى الحقيقي للسؤال.<ref name="debate understanding"/>

ولمعالجة هذه التحديات، طور باحثون مجموعات بيانات جديدة تركز على نقاط ضعف محددة في نماذج اللغات الحالية. من الأمثلة البارزة على ذلك مجموعة بيانات TruthfulQA، التي تتضمن أسئلة يصعب على النماذج الإجابة عليها بشكل صحيح بسبب ميلها إلى تكرار المعلومات الخاطئة التي تعلمتها خلال التدريب. فعلى سبيل المثال، قد يجيب نموذج لغة كبير على سؤال "هل يمكن تعليم كلب قديم حيلة جديدة؟" بـ "لا"، وذلك بسبب تعلمه للمثل الشائع الذي ينفي ذلك، حتى لو كان هذا الجواب غير دقيق من الناحية العلمية.<ref name="truthfulqa">{{استشهاد بأرخايف| eprint = 2109.07958| class = cs.CL| مؤلف1-الأول = Stephanie| مؤلف1-الأخير = Lin| مؤلف2-الأول = Jacob| مؤلف2-الأخير = Hilton| عنوان = TruthfulQA: Measuring How Models Mimic Human Falsehoods| مؤلف3-الأخير = Evans| مؤلف3-الأول = Owain| سنة = 2021}}</ref><ref name="hellaswag">{{استشهاد بأرخايف| eprint = 1905.07830| class = cs.CL| مؤلف1-الأول = Rowan| مؤلف1-الأخير = Zellers| مؤلف2-الأول = Ari| مؤلف2-الأخير = Holtzman| عنوان = HellaSwag: Can a Machine Really Finish Your Sentence?| مؤلف3-الأخير = Bisk| مؤلف3-الأول = Yonatan| مؤلف4-الأخير = Farhadi| مؤلف4-الأول = Ali| مؤلف5-الأخير = Choi| مؤلف5-الأول = Yejin| سنة = 2019}}</ref><ref name="hellaswag"/>

== التأثير الأوسع ==
في عام 2023م، أشارت مجلة "نيتشر بيوميديكال انجينيرنج" إلى استحالة التمييز بدقة بين النصوص التي ينتجها البشر وتلك التي تولّدها نماذج اللغات الكبيرة، مؤكدةً انتشار هذه النماذج ذات الأغراض العامة بسرعة وتأثيرها المتوقع على العديد من الصناعات.<ref name="ZDTUM">{{استشهاد بدورية محكمة| تاريخ = 7 مارس 2023| عنوان = Prepare for truly useful large language models| صحيفة = Nature Biomedical Engineering| المجلد = 7| العدد = 2| صفحات = 85–86| doi = 10.1038/s41551-023-01012-6| pmid = 36882584| s2cid = 257403466| مسار = https://doi.org/10.1038/s41551-023-01012-6| مسار أرشيف =https://web.archive.org/web/20240415071908/https://doi.org/10.1038%2Fs41551-023-01012-6| تاريخ أرشيف = 15 أبريل 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref> وفي نفس العام، أشارت مؤسسة [[غولدمان ساكس]] إلى إمكانية زيادة الناتج المحلي الإجمالي العالمي بنسبة 7% خلال العقد القادم بفضل الذكاء الاصطناعي اللغوي التوليدي، مع تحذيرها من تهديد هذا التطور لأكثر من 300 مليون وظيفة حول العالم.<ref name="81w7x">{{استشهاد بخبر| تاريخ = 7 مايو 2023| عنوان = Your job is (probably) safe from artificial intelligence| صحيفة = The Economist| مسار = https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence| تاريخ الوصول = 18 يونيو 2023| تاريخ أرشيف = 17 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230617225618/https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence| حالة المسار = live}}</ref><ref name="zIM6Y">{{استشهاد بويب| عنوان = Generative AI Could Raise Global GDP by 7%| مسار = https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html| تاريخ الوصول = 18 يونيو 2023| موقع = Goldman Sachs| تاريخ أرشيف = 18 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230618013836/https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html| حالة المسار = live}}</ref>

=== الحفظ وحقوق النشر ===
{{معلومات أكثر|الذكاء الاصطناعي وحقوق النشر}}
الحفظ هو سلوك ناشئ في نماذج اللّغة الكبيرة حيث يتمّ إخراج سلاسل نصية طويلة أحيانًا حرفيًا من بيانات التّدريب، على عكس السّلوك النموذجيّ للشّبكات العصبية الاصطناعية التّقليدية. تقيس تقييمات مخرجات نموذج اللّغة الكبيرة المتحكّم فيها كمية ما تمّ حفظه من بيانات التّدريب (مع التركيز على نماذج سلسلة جي بي تي-2) بشكل مختلف بأكثر من 1% للنسخ المكرّرة تمامًا، <ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Peng| مؤلف1-الأول = Zhencan| مؤلف2-الأخير = Wang| مؤلف2-الأول = Zhizhi| مؤلف3-الأخير = Deng| مؤلف3-الأول = Dong| عنوان = Near-Duplicate Sequence Search at Scale for Large Language Model Memorization Evaluation| صحيفة = Proceedings of the ACM on Management of Data| تاريخ = 13 يونيو 2023| المجلد = 1| العدد = 2| صفحات = 1–18| doi = 10.1145/3589324| s2cid = 259213212| مسار = https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf| تاريخ الوصول = 20 يناير 2024| تاريخ أرشيف = 27 أغسطس 2024| مسار أرشيف =https://web.archive.org/web/20240827053753/https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf| حالة المسار = live| صيغة = pdf}} Citing Lee et al 2022.</ref> أو ما يصل إلى نحو 7%.<ref>{{استشهاد بدورية محكمة| مؤلف1-الأخير = Peng| مؤلف1-الأول = Zhencan| مؤلف2-الأخير = Wang| مؤلف2-الأول = Zhizhi| مؤلف3-الأخير = Deng| مؤلف3-الأول = Dong| عنوان = Near-Duplicate Sequence Search at Scale for Large Language Model Memorization Evaluation| صحيفة = Proceedings of the ACM on Management of Data| تاريخ = 13 يونيو 2023| المجلد = 1| العدد = 2| doi = 10.1145/3589324| s2cid = 259213212| مسار = https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf| تاريخ الوصول = 20 يناير 2024| تاريخ أرشيف = 27 أغسطس 2024| مسار أرشيف =https://web.archive.org/web/20240827053753/https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf| حالة المسار = live| صيغة = pdf|صفحة=8}}.</ref>

=== الأمان ===
أعرب بعض الباحثين عن مخاوفهم من إمكانية توليد معلومات مضللة عمدًا أو عن طريق الخطأ، أو استغلال هذه النماذج في سلوكيات ضارة أخرى.<ref name="nD6kH">{{استشهاد بخبر| مؤلف1-الأخير = Alba| مؤلف1-الأول = Davey| تاريخ = 1 مايو 2023| عنوان = AI chatbots have been used to create dozens of news content farms| عمل = The Japan Times| مسار = https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/| تاريخ الوصول = 18 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20240824164332/https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/| تاريخ أرشيف = 24 أغسطس 2024}}</ref> فعلى سبيل المثال، يمكن أن تساهم نماذج اللغة الكبيرة في تقليل المهارة اللازمة لارتكاب أعمال إرهابية بيولوجية؛ حيث اقترح الباحث في الأمن البيولوجي كيفن إيسفلت ضرورة استبعاد الأبحاث المتعلقة بتطوير مسببات الأمراض من بيانات تدريب هذه النماذج.<ref name="PKiPY">{{استشهاد بدورية محكمة| تاريخ = 14 يونيو 2023| عنوان = Could chatbots help devise the next pandemic virus?| مسار = https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus| صحيفة = Science| doi = 10.1126/science.adj2463| تاريخ الوصول = 18 يونيو 2023| تاريخ أرشيف = 18 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230618013834/https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus| حالة المسار = live}}</ref>

أظهرت دراسة أجراها باحثون في جوجل وعدة جامعات، من بينها [[جامعة كورنيل|كورنيل]] و<nowiki/>[[جامعة كاليفورنيا (بركلي)|كاليفورنيا]]، وجود مخاطر أمنية محتملة في نماذج لغوية مثل شات جي بي تي. فقد تمكن الباحثون من استخلاص جزء من بيانات التدريب التي استخدمت في تدريب هذا النموذج. فعند تكرار طلب الحصول على كلمة معينة لعدد كبير من المرات، بدأ النموذج في تكرار مقاطع من بيانات التدريب بشكل عشوائي. وقد لاحظ الباحثون آلاف الأمثلة على هذا السلوك، مما يثير تساؤلات حول مدى أمان هذه النماذج.<ref>{{استشهاد بويب| مؤلف = Stephen Council| تاريخ = 1 ديسمبر 2023| عنوان = How Googlers cracked an SF rival's tech model with a single word| مسار = https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php| تاريخ الوصول = 07 أكتوبر 2024| ناشر = SFGATE| تاريخ أرشيف = 16 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231216160941/https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php| حالة المسار = live| صحيفة = SFGATE}}</ref>

يشكل وجود ما يسمى بـ "العوامل الكامنة" داخل نماذج اللغة الكبيرة مصدر قلق أمني آخر. هذه الوظائف المخبأة يمكن تفعيلها بحدث معين لتدفع النموذج إلى التصرف بطريقة غير متوقعة وضارة.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Hubinger| مؤلف1-الأول = Evan| تاريخ = 10 يناير 2024| عنوان = Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training| class = cs.CR| eprint = 2401.05566}}</ref> على الرغم من وجود ضوابط أمنية في تطبيقات مثل شات جي بي تي وكلود لمنع توليد محتوى ضار، إلا أن هذه الضوابط ليست مضمونة الفعالية. فقد تمكن باحثون من تطوير طرق للتلاعب بهذه النماذج والحصول على معلومات خطيرة، مثل كيفية إنشاء شبكات لتجارة المخدرات.<ref>{{استشهاد بأرخايف| مؤلف1-الأخير = Kang| مؤلف1-الأول = Daniel| تاريخ = 2023| عنوان = Exploiting programmatic behavior of LLMs: Dual-use through standard security attacks| class = cs.CR| eprint = 2302.05733}}</ref><ref>{{استشهاد بويب| مؤلف1-الأخير = Wang| مؤلف1-الأول = Yongge| تاريخ = 20 يونيو 2024| عنوان = Encryption Based Covert Channel for Large Language Models| مسار = https://eprint.iacr.org/2024/586.pdf| ناشر = IACR ePrint 2024/586| تاريخ الوصول = 24 يونيو 2024| تاريخ أرشيف = 24 يونيو 2024| مسار أرشيف =https://web.archive.org/web/20240624191233/https://eprint.iacr.org/2024/586.pdf| حالة المسار = live| صيغة = pdf}}</ref>

=== التحيّز الخوارزمي ===
{{مفصلة|تحيز خوارزمي}}
رغم ما أظهرته نماذج اللغات الكبيرة من قدرة فائقة على توليد نصوص شبيهة بالنصوص البشرية، إلا أنها معرضة للإصابة بتحيزات مستمدة من بيانات تدريبها، بل وتضخيمها. وقد يظهر ذلك جليًا في صور نمطية مشوهة أو معاملة مجحفة لفئات ديموغرافية مختلفة، كالأعراق والأجناس واللغات والمجموعات الثقافية.<ref name=":8">{{استشهاد بويب| مؤلف1-الأخير = Stokel-Walker| مؤلف1-الأول = Chris| تاريخ = 22 نوفمبر 2023| عنوان = ChatGPT Replicates Gender Bias in Recommendation Letters| مسار = https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/| تاريخ الوصول = 29 ديسمبر 2023| موقع = Scientific American| تاريخ أرشيف = 29 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231229043124/https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/| حالة المسار = live}}</ref> ونظرًا لسيطرة البيانات الإنجليزية على غالبية بيانات تدريب هذه النماذج، فإنها قد تستصغر بالتالي وجهات النظر التي لا تتحدث الإنجليزية.<ref name=":1">{{استشهاد بأرخايف| eprint = 2303.16281v2| class = cs.CY| مؤلف1-الأول = Queenie| مؤلف1-الأخير = Luo| مؤلف2-الأول = Michael J.| مؤلف2-الأخير = Puett| عنوان = A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube| تاريخ = 28 مارس 2023| مؤلف3-الأخير = Smith| مؤلف3-الأول = Michael D.}}</ref>

==== التنميط ====
تستطيع أنظمة الذكاء الاصطناعي أن تعزز طائفة واسعة من الصور النمطية، بما في ذلك تلك المرتبطة بالجنس، أو العرق، أو السن، أو الجنسية، أو الدين، أو المهنة. وقد يؤدي هذا إلى نتائج تمييزية بحق فئات معينة من البشر، بطرق قد تكون مسيئة أو مهينة.<ref>{{استشهاد| مؤلف1-الأخير = Cheng| مؤلف1-الأول = Myra| عنوان = Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models| تاريخ = 29 مايو 2023| arxiv = 2305.18189| مؤلف2-الأخير = Durmus| مؤلف2-الأول = Esin| مؤلف3-الأخير = Jurafsky| مؤلف3-الأول = Dan}}</ref> ومن الجدير بالذكر أن [[تحيز جنسي|التحيز الجنسي]] هو ميل هذه الأنظمة إلى إنتاج نتائج تميل بشكل غير عادل لصالح جنس على آخر. وغالبًا ما ينشأ هذا التحيز من البيانات التي تُدرب هذه الأنظمة عليها. فنموذج اللغة الكبيرة،<ref name=":8"/> على سبيل المثال، قد يربط بين الممرضات والسكرتيرات وبين النساء، وبين المهندسين والرؤساء التنفيذيين وبين الرجال، وذلك استنادًا إلى الأعراف الجندرية السائدة.<ref>{{استشهاد بكتاب| مؤلف1-الأخير = Kotek| مؤلف1-الأول = Hadas| عنوان = Proceedings of the ACM Collective Intelligence Conference| مؤلف2-الأخير = Dockum| مؤلف2-الأول = Rikker| مؤلف3-الأخير = Sun| مؤلف3-الأول = David| تاريخ = 05 نوفمبر 2023| ناشر = Association for Computing Machinery| isbn = 979-8-4007-0113-9| سلسلة = CI '23| مكان = New York, NY, USA| صفحات = 12–24| الفصل = Gender bias and stereotypes in Large Language Models| doi = 10.1145/3582269.3615599| مسار الفصل = https://dl.acm.org/doi/10.1145/3582269.3615599| مسار = https://doi.org/10.1145/3582269.3615599| مسار أرشيف =https://web.archive.org/web/20240920171608/https://doi.org/10.1145/3582269.3615599| تاريخ أرشيف = 20 سبتمبر 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref>

==== التحيّز السّياسيّ ====
التحيز السياسي يشير إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة على أخرى بشكل منهجي. قد تظهر نماذج اللغة أيضًا تحيزات سياسية. نظرًا لأن بيانات التدريب تتضمن مجموعة واسعة من الآراء والتغطية السياسية، فقد تولد النماذج استجابات تميل إلى أيديولوجيات أو وجهات نظر سياسية معينة، اعتمادًا على انتشار تلك الآراء في البيانات.<ref>{{استشهاد بويب| مؤلف1-الأخير = Heikkilä| مؤلف1-الأول = Melissa| تاريخ = 7 أغسطس 2023| عنوان = AI language models are rife with different political biases| مسار = https://www.technologyreview.com/2023/08/07/1077324/ai-language-models-are-rife-with-political-biases/| تاريخ الوصول = 29 ديسمبر 2023| موقع = MIT Technology Review| مسار أرشيف =https://web.archive.org/web/20240915191229/https://www.technologyreview.com/2023/08/07/1077324/ai-language-models-are-rife-with-political-biases/| تاريخ أرشيف = 15 سبتمبر 2024}}</ref>

== قائمة نماذج اللّغة الكبيرة ==
بالنسبة لعمود تكلفة التدريب، 1 بيتافلوب في اليوم = 1 بيتافلوب/ثانية × يوم واحد = 8.64E19 فلوب. وتُكتب تكلفة النموذج الأكبر فقط.

{| class="wikitable sortable"
!الاسم
!الاسم بالإنجليزية
!تاريخ الإطلاق {{ملا|التاريخ الذي تم فيه إصدار الوثائق التي تصف بنية النموذج لأول مرة.}}
!المطور
!عدد المَعلمات (مليار) {{ملا|في كثير من الحالات، يصدر الباحثون أو يبلغون عن إصدارات متعددة من نموذج بأحجام مختلفة. في هذه الحالات، يتم سرد حجم النموذج الأكبر هنا.}}
!حجم المجموعة
!تكلفة التدريب (بيتافلوب-يوم)
!الرخصة {{ملا|ترخيص أوزان النموذج المدرب مسبقًا. في جميع الحالات تقريبًا، يكون كود التدريب نفسه مفتوح المصدر أو يمكن تكراره بسهولة.}}
!ملاحظات
|-
|[[جي بي تي-1]]
|GPT-1
|{{فرز تاريخ|يونيو 2018}}
|[[أوبن أيه آي]]
|{{ترتيب|117000000|0.117}}
|
|1<ref name="oai-unsup">{{استشهاد بويب | تاريخ = 11 يونيو 2018| عنوان = Improving language understanding with unsupervised learning| مسار = https://openai.com/research/language-unsupervised| حالة المسار = live| مسار أرشيف =https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised| تاريخ أرشيف = 18 مارس 2023| تاريخ الوصول = 18 مارس 2023| موقع = openai.com}}</ref>
| {{أجل|إم آي تي}}<ref name="gpt1">{{استشهاد بويب| عمل = GitHub| عنوان = finetune-transformer-lm| مسار = https://github.com/openai/finetune-transformer-lm| تاريخ الوصول = 2 يناير 2024| تاريخ أرشيف = 19 مايو 2023| مسار أرشيف =https://web.archive.org/web/20230519062127/https://github.com/openai/finetune-transformer-lm| حالة المسار = live}}</ref>
|أول نموذج GPT، محول فك التشفير فقط. تدربت لمدة 30 يومًا على 8 [[وحدة الرسوميات|وحدة رسوميات]] من نوع P600.
|-
|بيرت
|BERT
|{{فرز تاريخ|أكتوبر 2018}}
|[[جوجل]]
|{{ترتيب|340000000|0.340}}<ref name="bert-paper">{{cite arXiv | مؤلف1-الأخير = Devlin| مؤلف1-الأول = Jacob| مؤلف2-الأخير = Chang| مؤلف2-الأول = Ming-Wei| مؤلف3-الأخير = Lee| مؤلف3-الأول = Kenton| مؤلف4-الأخير = Toutanova| مؤلف4-الأول = Kristina| عنوان = BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding| تاريخ = 11 أكتوبر 2018| eprint = 1810.04805v2| class = cs.CL}}</ref>
|{{ترتيب|3300000000|3.3 مليار}} كلمة<ref name="bert-paper"/>
|{{ترتيب|9|9}}<ref name="bHZJ2">{{استشهاد بويب | مؤلف1-الأخير = Prickett| مؤلف1-الأول = Nicole Hemsoth| تاريخ = 24 أغسطس 2021| عنوان = Cerebras Shifts Architecture To Meet Massive AI/ML Models| مسار = https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/| تاريخ الوصول = 20 يونيو 2023| موقع = The Next Platform| تاريخ أرشيف = 20 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230620151619/https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/| حالة المسار = live}}</ref>
| {{أجل|أباتشي 2.0}}<ref name="bert-web">{{استشهاد بويب| مسار = https://github.com/google-research/bert| عنوان = BERT| تاريخ = 13 مارس 2023| عبر = GitHub| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 13 يناير 2021| مسار أرشيف =https://web.archive.org/web/20210113211317/https://github.com/google-research/bert| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref>
|نموذج لغوي مبكر ومؤثر.<ref name="مولد تلقائيا3"/> [[محول (تعلم الآلة)|مُشفر فقط]] وبذلك لم يُبنى ليكون مُولِّدًا.<ref name="Ir545">{{cite arXiv | مؤلف1-الأخير = Patel| مؤلف1-الأول = Ajay| مؤلف2-الأخير = Li| مؤلف2-الأول = Bryan| مؤلف3-الأخير = Rasooli| مؤلف3-الأول = Mohammad Sadegh| مؤلف4-الأخير = Constant| مؤلف4-الأول = Noah| مؤلف5-الأخير = Raffel| مؤلف5-الأول = Colin| مؤلف6-الأخير = Callison-Burch| مؤلف6-الأول = Chris| عنوان = Bidirectional Language Models Are Also Few-shot Learners| تاريخ = 2022| class = cs.LG| eprint = 2209.14500}}</ref> استغرق التدريب 4 أيام على 64 شريحة TPUv2.<ref name=":02">{{cite arXiv | eprint = 1810.04805v2| class = cs.CL| مؤلف1-الأول = Jacob| مؤلف1-الأخير = Devlin| مؤلف2-الأول = Ming-Wei| مؤلف2-الأخير = Chang| عنوان = BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding| تاريخ = 11 أكتوبر 2018| مؤلف3-الأخير = Lee| مؤلف3-الأول = Kenton| مؤلف4-الأخير = Toutanova| مؤلف4-الأول = Kristina}}</ref>
|-
|تي 5 
|T5
|{{فرز تاريخ|أكتوبر 2019}}
|جوجل
|11<ref name=":6">{{استشهاد بدورية محكمة | مؤلف1-الأخير = Raffel| مؤلف1-الأول = Colin| مؤلف2-الأخير = Shazeer| مؤلف2-الأول = Noam| مؤلف3-الأخير = Roberts| مؤلف3-الأول = Adam| مؤلف4-الأخير = Lee| مؤلف4-الأول = Katherine| مؤلف5-الأخير = Narang| مؤلف5-الأول = Sharan| مؤلف6-الأخير = Matena| مؤلف6-الأول = Michael| مؤلف7-الأخير = Zhou| مؤلف7-الأول = Yanqi| مؤلف8-الأخير = Li| مؤلف8-الأول = Wei| مؤلف9-الأخير = Liu| مؤلف9-الأول = Peter J.| تاريخ = 2020| عنوان = Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer| مسار = http://jmlr.org/papers/v21/20-074.html| صحيفة = Journal of Machine Learning Research| المجلد = 21| العدد = 140| صفحات = 1–67| arxiv = 1910.10683| issn = 1533-7928| مسار أرشيف =https://web.archive.org/web/20241005064732/https://jmlr.org/papers/v21/20-074.html| تاريخ أرشيف = 05 أكتوبر 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref>
|34 مليار رمز مميز<ref name=":6"/>
|
| {{أجل|أباتشي 2.0}}<ref>{{استشهاد | عنوان = google-research/text-to-text-transfer-transformer| تاريخ = 02 أبريل 2024| مسار = https://github.com/google-research/text-to-text-transfer-transformer| تاريخ الوصول = 04 أبريل 2024| ناشر = Google Research| تاريخ أرشيف = 29 مارس 2024| مسار أرشيف =https://web.archive.org/web/20240329112957/https://github.com/google-research/text-to-text-transfer-transformer| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref>
|النموذج الأساسي للعديد من مشاريع جوجل، مثل Imagen.<ref>{{استشهاد بويب | عنوان = Imagen: Text-to-Image Diffusion Models| مسار = https://imagen.research.google/| تاريخ الوصول = 04 أبريل 2024| موقع = imagen.research.google| تاريخ أرشيف = 27 مارس 2024| مسار أرشيف =https://web.archive.org/web/20240327201713/https://imagen.research.google/| حالة المسار = live}}</ref>
|-
|
|[[XLNet]]
|{{فرز تاريخ|يونيو 2019}}
|[[جوجل]]
|{{ترتيب|340000000|0.340}}<ref>{{استشهاد بويب | عنوان = Pretrained models — transformers 2.0.0 documentation| مسار = https://huggingface.co/transformers/v2.0.0/pretrained_models.html| تاريخ الوصول = 05 أغسطس 2024| موقع = huggingface.co| تاريخ أرشيف = 05 أغسطس 2024| مسار أرشيف =https://web.archive.org/web/20240805032110/https://huggingface.co/transformers/v2.0.0/pretrained_models.html| حالة المسار = live}}</ref>
|{{ترتيب|3300000000|33}} مليار كلمة
|330|
| {{أجل|أباتشي 2.0}}<ref name="xlnet">{{استشهاد بويب| عمل = GitHub| عنوان = xlnet| مسار = https://github.com/zihangdai/xlnet/| تاريخ الوصول = 2 يناير 2024| تاريخ أرشيف = 02 يناير 2024| مسار أرشيف =https://web.archive.org/web/20240102191842/https://github.com/zihangdai/xlnet/| حالة المسار = live}}</ref>
|بديل لنموذج بيرت؛ مصمم للمشفر فقط. دُرِّب على 512 شريحة TPU v3 لمدة 5.5 أيام.<ref name="LX3rI">{{cite arXiv | مؤلف1-الأخير = Yang| مؤلف1-الأول = Zhilin| مؤلف2-الأخير = Dai| مؤلف2-الأول = Zihang| مؤلف3-الأخير = Yang| مؤلف3-الأول = Yiming| مؤلف4-الأخير = Carbonell| مؤلف4-الأول = Jaime| مؤلف5-الأخير = Salakhutdinov| مؤلف5-الأول = Ruslan| مؤلف6-الأخير = Le| مؤلف6-الأول = Quoc V.| عنوان = XLNet: Generalized Autoregressive Pretraining for Language Understanding| تاريخ = 2 يناير 2020| class = cs.CL| eprint = 1906.08237}}</ref>
|-
|[[جي بي تي-2]]
|GPT-2
|{{فرز تاريخ|فبراير 2019}}
|[[أوبن أيه آي]]
|{{ترتيب|1500000000|1.5}}<ref name="15Brelease">{{استشهاد بويب | مسار = https://openai.com/blog/gpt-2-1-5b-release/| عنوان = GPT-2: 1.5B Release| تاريخ = 05 نوفمبر 2019| موقع = OpenAI| لغة = الإنجليزية| تاريخ الوصول = 14 نوفمبر 2019| تاريخ أرشيف = 14 نوفمبر 2019| مسار أرشيف =https://web.archive.org/web/20191114074358/https://openai.com/blog/gpt-2-1-5b-release/| حالة المسار = live}}</ref>
|40 غيغا بايت<ref name="5T8u5">{{استشهاد بويب | عنوان = Better language models and their implications| مسار = https://openai.com/research/better-language-models| موقع = openai.com| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316160730/https://openai.com/research/better-language-models| حالة المسار = live}}</ref> (~{{ترتيب|10000000000|10 مليار}} رمز مميز)<ref name="LambdaLabs">{{استشهاد بويب | عنوان = OpenAI's GPT-3 Language Model: A Technical Overview| مسار = https://lambdalabs.com/blog/demystifying-gpt-3| موقع = lambdalabs.com| تاريخ = 3 يونيو 2020| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 27 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230327213811/https://lambdalabs.com/blog/demystifying-gpt-3| حالة المسار = live}}</ref>
|28<ref name=":10">{{استشهاد بويب | عنوان = openai-community/gpt2-xl · Hugging Face| مسار = https://huggingface.co/openai-community/gpt2-xl| تاريخ الوصول = 24 يوليو 2024| موقع = huggingface.co| تاريخ أرشيف = 24 يوليو 2024| مسار أرشيف =https://web.archive.org/web/20240724041702/https://huggingface.co/openai-community/gpt2-xl| حالة المسار = live}}</ref>|
| {{أجل|إم آي تي}}<ref name="Sudbe">{{استشهاد بويب| عمل = GitHub| عنوان = gpt-2| مسار = https://github.com/openai/gpt-2| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 11 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230311154936/https://github.com/openai/gpt-2| حالة المسار = live}}</ref>
|دُرب على 32 شريحة TPUv3 لمدة أسبوع واحد.<ref name=":10"/>
|-
|[[جي بي تي-3]]
|GPT-3
|{{فرز تاريخ|مايو 2020}}
|أوبن أيه آي
|{{ترتيب|175000000000|175}}<ref name="Wiggers">{{استشهاد بويب | مؤلف1-الأخير = Wiggers| مؤلف1-الأول = Kyle| تاريخ = 28 أبريل 2022| عنوان = The emerging types of language models and why they matter| مسار = https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/| عمل = TechCrunch| تاريخ الوصول = 9 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/| حالة المسار = live}}</ref>
|{{ترتيب|300000000000|300 مليار}} رمز مميز<ref name="LambdaLabs"/>
|3640<ref name=":2">Table D.1 in {{Cite arXiv | مؤلف1-الأخير = Brown| مؤلف1-الأول = Tom B.| مؤلف2-الأخير = Mann| مؤلف2-الأول = Benjamin| مؤلف3-الأخير = Ryder| مؤلف3-الأول = Nick| مؤلف4-الأخير = Subbiah| مؤلف4-الأول = Melanie| مؤلف5-الأخير = Kaplan| مؤلف5-الأول = Jared| مؤلف6-الأخير = Dhariwal| مؤلف6-الأول = Prafulla| مؤلف7-الأخير = Neelakantan| مؤلف7-الأول = Arvind| مؤلف8-الأخير = Shyam| مؤلف8-الأول = Pranav| مؤلف9-الأخير = Sastry| مؤلف9-الأول = Girish| مؤلف10-الأخير = Askell| مؤلف10-الأول = Amanda| مؤلف11-الأخير = Agarwal| مؤلف11-الأول = Sandhini| مؤلف12-الأخير = Herbert-Voss| مؤلف12-الأول = Ariel| مؤلف13-الأخير = Krueger| مؤلف13-الأول = Gretchen| مؤلف14-الأخير = Henighan| مؤلف14-الأول = Tom| مؤلف15-الأخير = Child| مؤلف15-الأول = Rewon| تاريخ = 28 مايو 2020| عنوان = Language Models are Few-Shot Learners| eprint = 2005.14165v4| مؤلف16-الأول = Aditya| مؤلف16-الأخير = Ramesh| مؤلف17-الأول = Daniel M.| مؤلف17-الأخير = Ziegler| مؤلف18-الأول = Jeffrey| مؤلف18-الأخير = Wu| مؤلف19-الأول = Clemens| مؤلف19-الأخير = Winter| مؤلف20-الأول = Christopher| مؤلف20-الأخير = Hesse| مؤلف21-الأول = Mark| مؤلف21-الأخير = Chen| مؤلف22-الأول = Eric| مؤلف22-الأخير = Sigler| مؤلف23-الأول = Mateusz| مؤلف23-الأخير = Litwin| مؤلف24-الأول = Scott| مؤلف24-الأخير = Gray| مؤلف25-الأول = Benjamin| مؤلف25-الأخير = Chess| مؤلف26-الأول = Jack| مؤلف26-الأخير = Clark| مؤلف27-الأول = Christopher| مؤلف27-الأخير = Berner| مؤلف28-الأول = Sam| مؤلف28-الأخير = McCandlish| مؤلف29-الأول = Alec| مؤلف29-الأخير = Radford| مؤلف30-الأول = Ilya| مؤلف30-الأخير = Sutskever| مؤلف31-الأول = Dario| مؤلف31-الأخير = Amodei| class = cs.CL}}</ref>|
| {{كلا|خاصة}}
|أُتيحت نسخة معدلة من GPT-3، تسمى GPT-3.5، للجمهور من خلال واجهة ويب تسمى [[شات جي بي تي]] في 2022.<ref name="chatgpt-blog">{{استشهاد بويب | تاريخ = 30 نوفمبر 2022| عنوان = ChatGPT: Optimizing Language Models for Dialogue| مسار = https://openai.com/blog/chatgpt/| تاريخ الوصول = 13 يناير 2023| موقع = OpenAI| تاريخ أرشيف = 30 نوفمبر 2022| مسار أرشيف =https://web.archive.org/web/20221130180912/https://openai.com/blog/chatgpt/| حالة المسار = live}}</ref>
|-
|جي بي تي-نيو
|GPT-Neo
|{{فرز تاريخ| مارس 2021}}
|{{وإو|EleutherAI|إليوثر أيه آي}}
|{{ترتيب|2700000000|2.7}}<ref name="gpt-neo">{{استشهاد بويب| مسار = https://github.com/EleutherAI/gpt-neo| عنوان = GPT Neo| تاريخ = 15 مارس 2023| عبر = GitHub| تاريخ الوصول = 12 مارس 2023| تاريخ أرشيف = 12 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230312225202/https://github.com/EleutherAI/gpt-neo| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref>
|825 جيجابت<ref name="Pile">{{cite arXiv | مؤلف1-الأخير = Gao| مؤلف1-الأول = Leo| مؤلف2-الأخير = Biderman| مؤلف2-الأول = Stella| مؤلف3-الأخير = Black| مؤلف3-الأول = Sid| مؤلف4-الأخير = Golding| مؤلف4-الأول = Laurence| مؤلف5-الأخير = Hoppe| مؤلف5-الأول = Travis| مؤلف6-الأخير = Foster| مؤلف6-الأول = Charles| مؤلف7-الأخير = Phang| مؤلف7-الأول = Jason| مؤلف8-الأخير = He| مؤلف8-الأول = Horace| مؤلف9-الأخير = Thite| مؤلف9-الأول = Anish| مؤلف10-الأخير = Nabeshima| مؤلف10-الأول = Noa| مؤلف11-الأخير = Presser| مؤلف11-الأول = Shawn| مؤلف12-الأخير = Leahy| مؤلف12-الأول = Connor| عنوان = The Pile: An 800GB Dataset of Diverse Text for Language Modeling| eprint = 2101.00027| تاريخ = 31 ديسمبر 2020| class = cs.CL}}</ref>
||
| {{أجل|إم آي تي}}<ref name="vb-gpt-neo">{{استشهاد بويب | عمل = VentureBeat| مؤلف1-الأخير = Iyer| مؤلف1-الأول = Abhishek| عنوان = GPT-3's free alternative GPT-Neo is something to be excited about| تاريخ = 15 مايو 2021| مسار = https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 09 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230309012717/https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/| حالة المسار = live}}</ref>
|أول سلسلة من البدائل المجانية لـ جي بي تي-3 التي أصدرتها إليوثر أيه آي. تفوقت جي بي تي-نيو على نموذج جي بي تي-3 ذي الحجم المماثل في بعض المعايير، لكنها كانت أسوأ بكثير من جي بي تي-3 الأكبر.<ref name="vb-gpt-neo"/>
|-
|جي بي تي-جي 
|GPT-J
|{{فرز تاريخ|يونيو 2021}}
|إليوثر أيه آي
|{{ترتيب|6000000000|6}}<ref name="JxohJ">{{استشهاد بويب | عنوان = GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront| مسار = https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model| تاريخ الوصول = 28 فبراير 2023| موقع = www.forefront.ai| تاريخ أرشيف = 09 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model| حالة المسار = dead}}</ref>
|825 جيجابت<ref name="Pile"/>
|200<ref name=":3">{{Cite arXiv | مؤلف1-الأخير = Dey| مؤلف1-الأول = Nolan| مؤلف2-الأخير = Gosal| مؤلف2-الأول = Gurpreet| مؤلف3-الأخير = Zhiming| مؤلف4-الأخير = Chen| مؤلف5-الأخير = Khachane| مؤلف5-الأول = Hemant| مؤلف6-الأخير = Marshall| مؤلف6-الأول = William| مؤلف7-الأخير = Pathria| مؤلف7-الأول = Ribhu| مؤلف8-الأخير = Tom| مؤلف8-الأول = Marvin| مؤلف9-الأخير = Hestness| مؤلف9-الأول = Joel| تاريخ = 01 أبريل 2023| عنوان = Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster| class = cs.LG| eprint = 2304.03208}}</ref>|
| {{أجل|أباتشي 2.0}}
|نموذج لغة على غرار جي بي تي-3
|-
|
|Megatron-Turing NLG
|{{فرز تاريخ|أكتوبر 2021}}<ref name="BwnW5">{{استشهاد بويب | مؤلف1-الأخير = Alvi| مؤلف1-الأول = Ali| مؤلف2-الأخير = Kharya| مؤلف2-الأول = Paresh| عنوان = Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model| مسار = https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/| موقع = Microsoft Research| تاريخ = 11 أكتوبر 2021| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 13 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230313180531/https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/| حالة المسار = live}}</ref>
|[[مايكروسوفت]] و[[إنفيديا]]
|{{ترتيب|530000000000|530}}<ref name="mtnlg-preprint">{{Cite arXiv | مؤلف1-الأخير = Smith| مؤلف1-الأول = Shaden| مؤلف2-الأخير = Patwary| مؤلف2-الأول = Mostofa| مؤلف3-الأخير = Norick| مؤلف3-الأول = Brandon| مؤلف4-الأخير = LeGresley| مؤلف4-الأول = Patrick| مؤلف5-الأخير = Rajbhandari| مؤلف5-الأول = Samyam| مؤلف6-الأخير = Casper| مؤلف6-الأول = Jared| مؤلف7-الأخير = Liu| مؤلف7-الأول = Zhun| مؤلف8-الأخير = Prabhumoye| مؤلف8-الأول = Shrimai| مؤلف9-الأخير = Zerveas| مؤلف9-الأول = George| مؤلف10-الأخير = Korthikanti| مؤلف10-الأول = Vijay| مؤلف11-الأخير = Zhang| مؤلف11-الأول = Elton| مؤلف12-الأخير = Child| مؤلف12-الأول = Rewon| مؤلف13-الأخير = Aminabadi| مؤلف13-الأول = Reza Yazdani| مؤلف14-الأخير = Bernauer| مؤلف14-الأول = Julie| مؤلف15-الأخير = Song| مؤلف15-الأول = Xia| تاريخ = 04 فبراير 2022| عنوان = Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model| class = cs.CL| eprint = 2201.11990}}</ref>
|{{ترتيب|338600000000|338.6 مليار}} رمز مميز<ref name="mtnlg-preprint"/>
||
| {{كلا|تقييد الوصول إلى شبكة الإنترنت}}
|هندسة قياسية ولكن دُرِّبت على مجموعة الحوسبة الفائقة.
|-
|
|Ernie 3.0 Titan
|{{فرز تاريخ|ديسمبر 2021}}
|[[بايدو]]
|{{ترتيب|260000000000|260}}<ref name="qeOB8">{{استشهاد بأرخايف| عنوان = ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation| مؤلف1-الأول = Shuohuan| مؤلف1-الأخير = Wang| مؤلف2-الأول = Yu| مؤلف2-الأخير = Sun| مؤلف3-الأول = Yang| مؤلف3-الأخير = Xiang| مؤلف4-الأول = Zhihua| مؤلف4-الأخير = Wu| مؤلف5-الأول = Siyu| مؤلف5-الأخير = Ding| مؤلف6-الأول = Weibao| مؤلف6-الأخير = Gong| مؤلف7-الأول = Shikun| مؤلف7-الأخير = Feng| مؤلف8-الأول = Junyuan| مؤلف8-الأخير = Shang| مؤلف9-الأول = Yanbin| مؤلف9-الأخير = Zhao| مؤلف10-الأول = Chao| مؤلف10-الأخير = Pang| مؤلف11-الأول = Jiaxiang| مؤلف11-الأخير = Liu| مؤلف12-الأول = Xuyi| مؤلف12-الأخير = Chen| مؤلف13-الأول = Yuxiang| مؤلف13-الأخير = Lu| مؤلف14-الأول = Weixin| مؤلف14-الأخير = Liu| مؤلف15-الأول = Xi| مؤلف15-الأخير = Wang| مؤلف16-الأول = Yangfan| مؤلف16-الأخير = Bai| مؤلف17-الأول = Qiuliang| مؤلف17-الأخير = Chen| مؤلف18-الأول = Li| مؤلف18-الأخير = Zhao| مؤلف19-الأول = Shiyong| مؤلف19-الأخير = Li| مؤلف20-الأول = Peng| مؤلف20-الأخير = Sun| مؤلف21-الأول = Dianhai| مؤلف21-الأخير = Yu| مؤلف22-الأول = Yanjun| مؤلف22-الأخير = Ma| مؤلف23-الأول = Hao| مؤلف23-الأخير = Tian| مؤلف24-الأول = Hua| مؤلف24-الأخير = Wu| مؤلف25-الأول = Tian| مؤلف25-الأخير = Wu| مؤلف26-الأول = Wei| مؤلف26-الأخير = Zeng| مؤلف27-الأول = Ge| مؤلف27-الأخير = Li| مؤلف28-الأول = Wen| مؤلف28-الأخير = Gao| مؤلف29-الأول = Haifeng| مؤلف29-الأخير = Wang| تاريخ = 23 ديسمبر 2021| class = cs.CL| eprint = 2112.12731}}</ref>
|4 Tb
||
| {{كلا|خاصة}}
|نموذج لغة كبيرة صيني، يعتمد عليه بوت "إرني بوت".
|-
|[[كلود (نموذج لغوي)|كلود]]<ref name="i8jc4">{{استشهاد بويب | عنوان = Product| مسار = https://www.anthropic.com/product| موقع = Anthropic| تاريخ الوصول = 14 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316145444/https://www.anthropic.com/product| حالة المسار = live}}</ref>
|Claude
|{{فرز تاريخ|ديسمبر 2021}}
|[[أنثروبيك]]
|{{ترتيب|52000000000|52}}<ref name="AnthroArch">{{cite arXiv | مؤلف1-الأخير = Askell| مؤلف1-الأول = Amanda| مؤلف2-الأخير = Bai| مؤلف2-الأول = Yuntao| مؤلف3-الأخير = Chen| مؤلف3-الأول = Anna| مؤلف4-الأخير = Drain| مؤلف4-الأول = Dawn| مؤلف5-الأخير = Ganguli| مؤلف5-الأول = Deep| مؤلف6-الأخير = Henighan| مؤلف6-الأول = Tom| مؤلف7-الأخير = Jones| مؤلف7-الأول = Andy| مؤلف8-الأخير = Joseph| مؤلف8-الأول = Nicholas| مؤلف9-الأخير = Mann| مؤلف9-الأول = Ben| مؤلف10-الأخير = DasSarma| مؤلف10-الأول = Nova| مؤلف11-الأخير = Elhage| مؤلف11-الأول = Nelson| مؤلف12-الأخير = Hatfield-Dodds| مؤلف12-الأول = Zac| مؤلف13-الأخير = Hernandez| مؤلف13-الأول = Danny| مؤلف14-الأخير = Kernion| مؤلف14-الأول = Jackson| مؤلف15-الأخير = Ndousse| مؤلف15-الأول = Kamal| مؤلف16-الأخير = Olsson| مؤلف16-الأول = Catherine| مؤلف17-الأخير = Amodei| مؤلف17-الأول = Dario| مؤلف18-الأخير = Brown| مؤلف18-الأول = Tom| مؤلف19-الأخير = Clark| مؤلف19-الأول = Jack| مؤلف20-الأخير = McCandlish| مؤلف20-الأول = Sam| مؤلف21-الأخير = Olah| مؤلف21-الأول = Chris| مؤلف22-الأخير = Kaplan| مؤلف22-الأول = Jared| إظهار المؤلفين = 3| عنوان = A General Language Assistant as a Laboratory for Alignment| eprint = 2112.00861| تاريخ = 9 ديسمبر 2021| class = cs.CL}}</ref>
|{{ترتيب|400000000000|400 مليار}} رمز مميز<ref name="AnthroArch"/>
||| {{partial success|بيتا}}
|ضُبط بدقة لتحقيق السلوك المرغوب في المحادثات.<ref name="RZqhw">{{cite arXiv | مؤلف1-الأخير = Bai| مؤلف1-الأول = Yuntao| مؤلف2-الأخير = Kadavath| مؤلف2-الأول = Saurav| مؤلف3-الأخير = Kundu| مؤلف3-الأول = Sandipan| مؤلف4-الأخير = Askell| مؤلف4-الأول = Amanda| مؤلف5-الأخير = Kernion| مؤلف5-الأول = Jackson| مؤلف6-الأخير = Jones| مؤلف6-الأول = Andy| مؤلف7-الأخير = Chen| مؤلف7-الأول = Anna| مؤلف8-الأخير = Goldie| مؤلف8-الأول = Anna| مؤلف9-الأخير = Mirhoseini| مؤلف9-الأول = Azalia| مؤلف10-الأخير = McKinnon| مؤلف10-الأول = Cameron| مؤلف11-الأخير = Chen| مؤلف11-الأول = Carol| مؤلف12-الأخير = Olsson| مؤلف12-الأول = Catherine| مؤلف13-الأخير = Olah| مؤلف13-الأول = Christopher| مؤلف14-الأخير = Hernandez| مؤلف14-الأول = Danny| مؤلف15-الأخير = Drain| مؤلف15-الأول = Dawn| مؤلف16-الأخير = Ganguli| مؤلف16-الأول = Deep| مؤلف17-الأخير = Li| مؤلف17-الأول = Dustin| مؤلف18-الأخير = Tran-Johnson| مؤلف18-الأول = Eli| مؤلف19-الأخير = Perez| مؤلف19-الأول = Ethan| مؤلف20-الأخير = Kerr| مؤلف20-الأول = Jamie| مؤلف21-الأخير = Mueller| مؤلف21-الأول = Jared| مؤلف22-الأخير = Ladish| مؤلف22-الأول = Jeffrey| مؤلف23-الأخير = Landau| مؤلف23-الأول = Joshua| مؤلف24-الأخير = Ndousse| مؤلف24-الأول = Kamal| مؤلف25-الأخير = Lukosuite| مؤلف25-الأول = Kamile| مؤلف26-الأخير = Lovitt| مؤلف26-الأول = Liane| مؤلف27-الأخير = Sellitto| مؤلف27-الأول = Michael| مؤلف28-الأخير = Elhage| مؤلف28-الأول = Nelson| مؤلف29-الأخير = Schiefer| مؤلف29-الأول = Nicholas| مؤلف30-الأخير = Mercado| مؤلف30-الأول = Noemi| مؤلف31-الأخير = DasSarma| مؤلف31-الأول = Nova| مؤلف32-الأخير = Lasenby| مؤلف32-الأول = Robert| مؤلف33-الأخير = Larson| مؤلف33-الأول = Robin| مؤلف34-الأخير = Ringer| مؤلف34-الأول = Sam| مؤلف35-الأخير = Johnston| مؤلف35-الأول = Scott| مؤلف36-الأخير = Kravec| مؤلف36-الأول = Shauna| مؤلف37-الأخير = Showk| مؤلف37-الأول = Sheer El| مؤلف38-الأخير = Fort| مؤلف38-الأول = Stanislav| مؤلف39-الأخير = Lanham| مؤلف39-الأول = Tamera| مؤلف40-الأخير = Telleen-Lawton| مؤلف40-الأول = Timothy| مؤلف41-الأخير = Conerly| مؤلف41-الأول = Tom| مؤلف42-الأخير = Henighan| مؤلف42-الأول = Tom| مؤلف43-الأخير = Hume| مؤلف43-الأول = Tristan| مؤلف44-الأخير = Bowman| مؤلف44-الأول = Samuel R.| مؤلف45-الأخير = Hatfield-Dodds| مؤلف45-الأول = Zac| مؤلف46-الأخير = Mann| مؤلف46-الأول = Ben| مؤلف47-الأخير = Amodei| مؤلف47-الأول = Dario| مؤلف48-الأخير = Joseph| مؤلف48-الأول = Nicholas| مؤلف49-الأخير = McCandlish| مؤلف49-الأول = Sam| مؤلف50-الأخير = Brown| مؤلف50-الأول = Tom| مؤلف51-الأخير = Kaplan| مؤلف51-الأول = Jared| إظهار المؤلفين = 3| عنوان = Constitutional AI: Harmlessness from AI Feedback| eprint = 2212.08073| تاريخ = 15 ديسمبر 2022| class = cs.CL}}</ref>
|-
|لام (نموذج لغة عامة)
|GLaM
|{{فرز تاريخ|ديسمبر 2021}}
|جوجل
|{{ترتيب|1200000000000|1200}}<ref name="glam-blog">{{استشهاد بويب | مؤلف1-الأخير = Dai| مؤلف1-الأول = Andrew M| مؤلف2-الأخير = Du| مؤلف2-الأول = Nan| تاريخ = 9 ديسمبر 2021| عنوان = More Efficient In-Context Learning with GLaM| مسار = https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html| تاريخ الوصول = 09 مارس 2023| موقع = ai.googleblog.com| تاريخ أرشيف = 12 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230312072042/https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html| حالة المسار = live}}</ref>
|{{ترتيب|1600000000000|1.6 تريليون}} رمز مميز<ref name="glam-blog"/>
|5600<ref name="glam-blog"/>|
| {{كلا|خاصة}}
|نموذج [[مزيج من الخبراء]] متفرق، مما يجعل تدريبه أكثر تكلفة ولكن تشغيل الاستدلال أرخص مقارنةً بـ GPT-3.
|-
|
|Gopher
|{{فرز تاريخ|ديسمبر 2021}}
|[[ديب مايند]]
|{{ترتيب|280000000000|280}}<ref name="mD5eE">{{استشهاد بويب | عنوان = Language modelling at scale: Gopher, ethical considerations, and retrieval| مسار = https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval| موقع = www.deepmind.com| تاريخ = 8 ديسمبر 2021| تاريخ الوصول = 20 مارس 2023| تاريخ أرشيف = 20 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230320082323/https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval| حالة المسار = live}}</ref>
|{{ترتيب|300000000000|300 مليار}} رمز مميز<ref name="hoffman"/>
|5833<ref name=":4">{{استشهاد بويب| مسار = https://storage.googleapis.com/pathways-language-model/PaLM-paper.pdf| مسار أرشيف =https://web.archive.org/web/20230610040050/https://storage.googleapis.com/pathways-language-model/PaLM-paper.pdf| تاريخ أرشيف = 10 يونيو 2023| عنوان = PaLM: Scaling Language Modeling with Pathways| تاريخ الوصول = 07 أكتوبر 2024| صيغة = pdf}}</ref>|
| {{كلا|خاصة}}
|جرى تطويره لاحقًا إلى نموذج شينشيلا.
|-
|[[لامدا (ذكاء اصطناعي)|لامدا]] (نموذج لغوي لتطبيقات الحوار)
|LaMDA
|{{فرز تاريخ|يناير 2022}}
|جوجل
|{{ترتيب|137000000000|137}}<ref name="lamda-blog">{{استشهاد بويب | مؤلف1-الأخير = Cheng| مؤلف1-الأول = Heng-Tze| مؤلف2-الأخير = Thoppilan| مؤلف2-الأول = Romal| تاريخ = 21 يناير 2022| عنوان = LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything| مسار = https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html| تاريخ الوصول = 09 مارس 2023| موقع = ai.googleblog.com| تاريخ أرشيف = 25 مارس 2022| مسار أرشيف =https://web.archive.org/web/20220325014118/https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html| حالة المسار = live}}</ref>
|1.56 تريليون كلمة،<ref name="lamda-blog"/> {{ترتيب|168000000000|168 مليار}} رمز مميز<ref name="hoffman"/>
|4110<ref name="DMs9Z">{{Cite arXiv | مؤلف1-الأخير = Thoppilan| مؤلف1-الأول = Romal| مؤلف2-الأخير = De Freitas| مؤلف2-الأول = Daniel| مؤلف3-الأخير = Hall| مؤلف3-الأول = Jamie| مؤلف4-الأخير = Shazeer| مؤلف4-الأول = Noam| مؤلف5-الأخير = Kulshreshtha| مؤلف5-الأول = Apoorv| مؤلف6-الأخير = Cheng| مؤلف6-الأول = Heng-Tze| مؤلف7-الأخير = Jin| مؤلف7-الأول = Alicia| مؤلف8-الأخير = Bos| مؤلف8-الأول = Taylor| مؤلف9-الأخير = Baker| مؤلف9-الأول = Leslie| مؤلف10-الأخير = Du| مؤلف10-الأول = Yu| مؤلف11-الأخير = Li| مؤلف11-الأول = YaGuang| مؤلف12-الأخير = Lee| مؤلف12-الأول = Hongrae| مؤلف13-الأخير = Zheng| مؤلف13-الأول = Huaixiu Steven| مؤلف14-الأخير = Ghafouri| مؤلف14-الأول = Amin| مؤلف15-الأخير = Menegali| مؤلف15-الأول = Marcelo| تاريخ = 01 يناير 2022| عنوان = LaMDA: Language Models for Dialog Applications| class = cs.CL| eprint = 2201.08239}}</ref>|
| {{كلا|خاصة}}
|متخصص في توليد الاستجابة في المحادثات.
|-
|جي بي تي-نيو إكس
|GPT-NeoX
|{{فرز تاريخ|فبراير 2022}}
|إليوثر أيه آي
|{{ترتيب|20000000000|20}}<ref name="gpt-neox-20b">{{cite conference | عنوان = GPT-NeoX-20B: An Open-Source Autoregressive Language Model| عنوان المؤتمر = Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models| تاريخ = 01 مايو 2022| مؤلف1-الأخير = Black| مؤلف1-الأول = Sidney| مؤلف2-الأخير = Biderman| مؤلف2-الأول = Stella| مؤلف3-الأخير = Hallahan| مؤلف3-الأول = Eric| إظهار المؤلفين = etal| المجلد = Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models| صفحات = 95–136| مسار = https://aclanthology.org/2022.bigscience-1.9/| تاريخ الوصول = 19 ديسمبر 2022| تاريخ أرشيف = 10 ديسمبر 2022| مسار أرشيف =https://web.archive.org/web/20221210082456/https://aclanthology.org/2022.bigscience-1.9/| حالة المسار = live| صحيفة = Transactions of the Association for Computational Linguistics}}</ref>
|825 جيجابت<ref name="Pile"/>
|740<ref name=":3"/>|
| {{أجل|أباتشي 2.0}}
|مبني على معمارية ميجاترون
|-
|
|[[Chinchilla AI|Chinchilla]]
|{{فرز تاريخ| مارس 2022}}
|[[ديب مايند]]
|{{ترتيب|70000000000|70}}<ref name="chinchilla-blog">{{استشهاد بويب | عمل = Deepmind Blog| عنوان = An empirical analysis of compute-optimal large language model training| مؤلف1-الأول = Jordan| مؤلف1-الأخير = Hoffmann| مؤلف2-الأول = Sebastian| مؤلف2-الأخير = Borgeaud| مؤلف3-الأول = Arthur| مؤلف3-الأخير = Mensch| مؤلف4-الأول = Laurent| مؤلف4-الأخير = Sifre| تاريخ = 12 أبريل 2022| مسار = https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training| تاريخ الوصول = 9 مارس 2023| تاريخ أرشيف = 13 أبريل 2022| مسار أرشيف =https://web.archive.org/web/20220413014510/https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training| حالة المسار = live}}</ref>
|{{ترتيب|1400000000000|1.4 تريليون}} رمز مميز<ref name="hoffman">{{cite arXiv | مؤلف1-الأخير = Hoffmann| مؤلف1-الأول = Jordan| مؤلف2-الأخير = Borgeaud| مؤلف2-الأول = Sebastian| مؤلف3-الأخير = Mensch| مؤلف3-الأول = Arthur| مؤلف4-الأخير = Buchatskaya| مؤلف4-الأول = Elena| مؤلف5-الأخير = Cai| مؤلف5-الأول = Trevor| مؤلف6-الأخير = Rutherford| مؤلف6-الأول = Eliza| مؤلف7-الأخير = Casas| مؤلف7-الأول = Diego de Las| مؤلف8-الأخير = Hendricks| مؤلف8-الأول = Lisa Anne| مؤلف9-الأخير = Welbl| مؤلف9-الأول = Johannes| مؤلف10-الأخير = Clark| مؤلف10-الأول = Aidan| مؤلف11-الأخير = Hennigan| مؤلف11-الأول = Tom| مؤلف12-الأخير = Noland| مؤلف12-الأول = Eric| مؤلف13-الأخير = Millican| مؤلف13-الأول = Katie| مؤلف14-الأخير = Driessche| مؤلف14-الأول = George van den| مؤلف15-الأخير = Damoc| مؤلف15-الأول = Bogdan| مؤلف16-الأخير = Guy| مؤلف16-الأول = Aurelia| مؤلف17-الأخير = Osindero| مؤلف17-الأول = Simon| مؤلف18-الأخير = Simonyan| مؤلف18-الأول = Karen| مؤلف19-الأخير = Elsen| مؤلف19-الأول = Erich| مؤلف20-الأخير = Rae| مؤلف20-الأول = Jack W.| مؤلف21-الأخير = Vinyals| مؤلف21-الأول = Oriol| مؤلف22-الأخير = Sifre| مؤلف22-الأول = Laurent| عنوان = Training Compute-Optimal Large Language Models| eprint = 2203.15556| تاريخ = 29 مارس 2022| class = cs.CL| إظهار المؤلفين = 3}}</ref><ref name="chinchilla-blog"/>
|6805<ref name=":4"/>|
| {{كلا|خاصة}}
|نموذج ذو معلمات مخفضة دُرِّب على المزيد من البيانات. يستخدم في روبوت Sparrow. غالبًا ما يُستشهد به لقانون التوسع العصبي الخاص به.
|-
|[[بالم (ذكاء اصطناعي)|بالم]] (نموذج مسارات اللغة)
|PaLM
|{{فرز تاريخ|أبريل 2022}}
|جوجل
|{{ترتيب|540000000000|540}}<ref name="palm-blog">{{استشهاد بويب | مؤلف1-الأخير = Narang| مؤلف1-الأول = Sharan| مؤلف2-الأخير = Chowdhery| مؤلف2-الأول = Aakanksha| تاريخ = 4 أبريل 2022| عنوان = Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance| مسار = https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html| تاريخ الوصول = 09 مارس 2023| موقع = ai.googleblog.com| لغة = الإنجليزية| تاريخ أرشيف = 04 أبريل 2022| مسار أرشيف =https://web.archive.org/web/20220404161447/https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html| حالة المسار = live}}</ref>
|{{ترتيب|768000000000|768 مليار}} رمز مميز<ref name="chinchilla-blog"/>
|29250<ref name=":4"/>|
| {{كلا|خاصة}}
|جرى التدريب لمدة 60 يومًا تقريبًا على 6000 شريحة TPU v4.<ref name=":4"/>
|-
|
|OPT (Open Pretrained Transformer)
|{{فرز تاريخ|مايو 2022}}
|[[ميتا بلاتفورمز|ميتا]]
|{{ترتيب|175000000000|175}}<ref name="jlof8">{{استشهاد بويب | عنوان = Democratizing access to large-scale language models with OPT-175B| مؤلف1 = Susan Zhang| مؤلف2 = Mona Diab| مؤلف3 = Luke Zettlemoyer| مسار = https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/| موقع = ai.facebook.com| تاريخ الوصول = 12 مارس 2023| تاريخ أرشيف = 12 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230312231820/https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/| حالة المسار = live}}</ref>
|{{ترتيب|180000000000|180 مليار}} رمز مميز<ref name="QjTIc">{{cite arXiv | مؤلف1-الأخير = Zhang| مؤلف1-الأول = Susan| مؤلف2-الأخير = Roller| مؤلف2-الأول = Stephen| مؤلف3-الأخير = Goyal| مؤلف3-الأول = Naman| مؤلف4-الأخير = Artetxe| مؤلف4-الأول = Mikel| مؤلف5-الأخير = Chen| مؤلف5-الأول = Moya| مؤلف6-الأخير = Chen| مؤلف6-الأول = Shuohui| مؤلف7-الأخير = Dewan| مؤلف7-الأول = Christopher| مؤلف8-الأخير = Diab| مؤلف8-الأول = Mona| مؤلف9-الأخير = Li| مؤلف9-الأول = Xian| مؤلف10-الأخير = Lin| مؤلف10-الأول = Xi Victoria| مؤلف11-الأخير = Mihaylov| مؤلف11-الأول = Todor| مؤلف12-الأخير = Ott| مؤلف12-الأول = Myle| مؤلف13-الأخير = Shleifer| مؤلف13-الأول = Sam| مؤلف14-الأخير = Shuster| مؤلف14-الأول = Kurt| مؤلف15-الأخير = Simig| مؤلف15-الأول = Daniel| مؤلف16-الأخير = Koura| مؤلف16-الأول = Punit Singh| مؤلف17-الأخير = Sridhar| مؤلف17-الأول = Anjali| مؤلف18-الأخير = Wang| مؤلف18-الأول = Tianlu| مؤلف19-الأخير = Zettlemoyer| مؤلف19-الأول = Luke| عنوان = OPT: Open Pre-trained Transformer Language Models| eprint = 2205.01068| تاريخ = 21 يونيو 2022| class = cs.CL}}</ref>
|310<ref name=":3"/>|| {{partial success|بحث غير تجاري}}{{ملا|النماذج الأصغر بما في ذلك 66B متاحة للجمهور، في حين أن نموذج 175B متاح عند الطلب.}}
|معمارية GPT-3 مع بعض التعديلات من ميجاترون
|-
|
|YaLM 100B
|{{فرز تاريخ|يونيو 2022}}
|[[ياندكس]]
|{{ترتيب|100000000000|100}}<ref name="yalm-repo">{{استشهاد | مؤلف1-الأخير = Khrushchev| مؤلف1-الأول = Mikhail| عنوان = YaLM 100B| تاريخ = 22 يونيو 2022| مسار = https://github.com/yandex/YaLM-100B| تاريخ الوصول = 18 مارس 2023| مؤلف2-الأخير = Vasilev| مؤلف2-الأول = Ruslan| مؤلف3-الأخير = Petrov| مؤلف3-الأول = Alexey| مؤلف4-الأخير = Zinov| مؤلف4-الأول = Nikolay| تاريخ أرشيف = 16 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230616050056/https://github.com/yandex/YaLM-100B| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref>
|1.7 تيرابايت <ref name="yalm-repo"/>
||
| {{أجل|أباتشي 2.0}} 
|نموذج إنجليزي-روسي يعتمد على Megatron-LM من مايكروسوفت.
|-
|
|Minerva
|{{فرز تاريخ|يونيو 2022}}
|جوجل
|{{ترتيب|540000000000|540}}<ref name="minerva-paper"/>
|38.5 مليار رمز مميز من صفحات الويب التي تمت تصفيتها للمحتوى الرياضي ومن الأوراق المقدمة إلى خادم arXiv للطبع المسبق <ref name="minerva-paper">{{cite arXiv | مؤلف1-الأخير = Lewkowycz| مؤلف1-الأول = Aitor| مؤلف2-الأخير = Andreassen| مؤلف2-الأول = Anders| مؤلف3-الأخير = Dohan| مؤلف3-الأول = David| مؤلف4-الأخير = Dyer| مؤلف4-الأول = Ethan| مؤلف5-الأخير = Michalewski| مؤلف5-الأول = Henryk| مؤلف6-الأخير = Ramasesh| مؤلف6-الأول = Vinay| مؤلف7-الأخير = Slone| مؤلف7-الأول = Ambrose| مؤلف8-الأخير = Anil| مؤلف8-الأول = Cem| مؤلف9-الأخير = Schlag| مؤلف9-الأول = Imanol| مؤلف10-الأخير = Gutman-Solo| مؤلف10-الأول = Theo| مؤلف11-الأخير = Wu| مؤلف11-الأول = Yuhuai| مؤلف12-الأخير = Neyshabur| مؤلف12-الأول = Behnam| مؤلف13-الأخير = Gur-Ari| مؤلف13-الأول = Guy| مؤلف14-الأخير = Misra| مؤلف14-الأول = Vedant| عنوان = Solving Quantitative Reasoning Problems with Language Models| تاريخ = 30 يونيو 2022| class = cs.CL| eprint = 2206.14858}}</ref>
||
| {{كلا|خاصة}}
|لحل "المسائل الرياضية والعلمية باستخدام التفكير خطوة بخطوة".<ref name="FfCNK">{{استشهاد بويب | عنوان = Minerva: Solving Quantitative Reasoning Problems with Language Models| مسار = https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html| موقع = ai.googleblog.com| تاريخ = 30 يونيو 2022| تاريخ الوصول = 20 مارس 2023| مسار أرشيف =https://archive.today/20220630224905/https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html| تاريخ أرشيف = 30 يونيو 2022}}</ref> بناءً على نموذج PaLM، دُرِّب بشكل أكبر على البيانات الرياضية والعلمية.
|-
|بلوم
|BLOOM
|{{فرز تاريخ|يوليو 2022}}
|تعاون كبير بقيادة {{وإو|هقينق فيس|Hugging Face}}
|{{ترتيب|175000000000|175}}<ref name="bigger-better">{{استشهاد بدورية محكمة | صحيفة = Nature| مؤلف1-الأخير = Ananthaswamy| مؤلف1-الأول = Anil| عنوان = In AI, is bigger always better?| تاريخ = 8 مارس 2023| المجلد = 615| العدد = 7951| صفحات = 202–205| doi = 10.1038/d41586-023-00641-w| pmid = 36890378| bibcode = 2023Natur.615..202A| s2cid = 257380916| مسار = https://www.nature.com/articles/d41586-023-00641-w| تاريخ الوصول = 9 مارس 2023| تاريخ أرشيف = 16 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230316181013/https://www.nature.com/articles/d41586-023-00641-w| حالة المسار = live}}</ref>
|{{ترتيب|350000000000|350 مليار}} رمز مميز (1.6 تيرابايت)<ref name="B8wB2">{{استشهاد بويب | عنوان = bigscience/bloom · Hugging Face| مسار = https://huggingface.co/bigscience/bloom| موقع = huggingface.co| تاريخ الوصول = 13 مارس 2023| تاريخ أرشيف = 12 أبريل 2023| مسار أرشيف =https://web.archive.org/web/20230412002547/https://huggingface.co/bigscience/bloom| حالة المسار = live}}</ref>
||| {{partial success|الذكاء الاصطناعي المسؤول}}
|في الأساس GPT-3 ولكن دُرِّب على مجموعة متعددة اللغات (30% من اللغة الإنجليزية باستثناء لغات البرمجة)
|-
|جالاكتيكا
|Galactica
|{{فرز تاريخ|نوفمبر 2022}}
|[[ميتا بلاتفورمز|ميتا]]
|{{ترتيب|120000000000|120}}
|{{ترتيب|350000000000|106 مليار}} رمز مميز<ref name="37sY6">{{cite arXiv | مؤلف1-الأخير = Taylor| مؤلف1-الأول = Ross| مؤلف2-الأخير = Kardas| مؤلف2-الأول = Marcin| مؤلف3-الأخير = Cucurull| مؤلف3-الأول = Guillem| مؤلف4-الأخير = Scialom| مؤلف4-الأول = Thomas| مؤلف5-الأخير = Hartshorn| مؤلف5-الأول = Anthony| مؤلف6-الأخير = Saravia| مؤلف6-الأول = Elvis| مؤلف7-الأخير = Poulton| مؤلف7-الأول = Andrew| مؤلف8-الأخير = Kerkez| مؤلف8-الأول = Viktor| مؤلف9-الأخير = Stojnic| مؤلف9-الأول = Robert| عنوان = Galactica: A Large Language Model for Science| تاريخ = 16 نوفمبر 2022| class = cs.CL| eprint = 2211.09085}}</ref>
|غير معروف|| {{partial success|CC-BY-NC-4.0}}
|مدرب على النصوص العلمية والأساليب العلمية.
|-
|اليكسا تي إم
(نموذج المعلم)
|AlexaTM 
|{{فرز تاريخ|نوفمبر 2022}}
|[[أمازون (شركة)|		]]
|{{ترتيب|20000000000|20}}<ref name="u5szh">{{استشهاد بويب | عنوان = 20B-parameter Alexa model sets new marks in few-shot learning| مسار = https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning| موقع = Amazon Science| تاريخ = 2 أغسطس 2022| تاريخ الوصول = 12 مارس 2023| تاريخ أرشيف = 15 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230315190223/https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning| حالة المسار = live}}</ref>
|{{ترتيب|1300000000000|1.3 تريليون}}<ref name="HaA7l">{{cite arXiv | مؤلف1-الأخير = Soltan| مؤلف1-الأول = Saleh| مؤلف2-الأخير = Ananthakrishnan| مؤلف2-الأول = Shankar| مؤلف3-الأخير = FitzGerald| مؤلف3-الأول = Jack| مؤلف4-الأخير = Gupta| مؤلف4-الأول = Rahul| مؤلف5-الأخير = Hamza| مؤلف5-الأول = Wael| مؤلف6-الأخير = Khan| مؤلف6-الأول = Haidar| مؤلف7-الأخير = Peris| مؤلف7-الأول = Charith| مؤلف8-الأخير = Rawls| مؤلف8-الأول = Stephen| مؤلف9-الأخير = Rosenbaum| مؤلف9-الأول = Andy| مؤلف10-الأخير = Rumshisky| مؤلف10-الأول = Anna| مؤلف11-الأخير = Prakash| مؤلف11-الأول = Chandana Satya| مؤلف12-الأخير = Sridhar| مؤلف12-الأول = Mukund| مؤلف13-الأخير = Triefenbach| مؤلف13-الأول = Fabian| مؤلف14-الأخير = Verma| مؤلف14-الأول = Apurv| مؤلف15-الأخير = Tur| مؤلف15-الأول = Gokhan| مؤلف16-الأخير = Natarajan| مؤلف16-الأول = Prem| إظهار المؤلفين = 3| عنوان = AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model| eprint = 2208.01448| تاريخ = 3 أغسطس 2022| class = cs.CL}}</ref>
||
| {{كلا|خاصة}}<ref name="rpehM">{{استشهاد بويب | عنوان = AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog| مسار = https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/| موقع = aws.amazon.com| تاريخ الوصول = 13 مارس 2023| تاريخ = 17 نوفمبر 2022| تاريخ أرشيف = 13 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230313163933/https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/| حالة المسار = live}}</ref>
|هندسة تسلسلية ثنائية الاتجاه
|-
|
|[[Neuro-sama]]
|{{فرز تاريخ|ديسمبر 2022}}
|مستقل
|غير معروف
|غير معروف
||
| {{كلا|ملكية خاصة}}
|نموذج لغوي مصمم للبث المباشر على [[تويتش]].
|-
|لاما
نموذج لغة كبير ميتا أيه آي)
|LLaMA
|{{فرز تاريخ|فبراير 2023}}
|[[ميتا أيه آي]]
|{{ترتيب|65000000000|65}}<ref name="llama-blog">{{استشهاد بويب | عمل = Meta AI| عنوان = Introducing LLaMA: A foundational, 65-billion-parameter large language model| تاريخ = 24 فبراير 2023| مسار = https://ai.facebook.com/blog/large-language-model-llama-meta-ai/| تاريخ الوصول = 9 مارس 2023| تاريخ أرشيف = 03 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230303112302/https://ai.facebook.com/blog/large-language-model-llama-meta-ai/| حالة المسار = live}}</ref>
|{{ترتيب|1400000000000|1.4 تريليون}}<ref name="llama-blog"/>
|6300<ref name=":5">{{استشهاد بويب | عنوان = The Falcon has landed in the Hugging Face ecosystem| مسار = https://huggingface.co/blog/falcon| تاريخ الوصول = 20 يونيو 2023| موقع = huggingface.co| تاريخ أرشيف = 20 يونيو 2023| مسار أرشيف =https://web.archive.org/web/20230620002832/https://huggingface.co/blog/falcon| حالة المسار = live}}</ref>|| {{partial success|بحث غير تجاري}}{{ملا|كان نظام الترخيص والتوزيع الخاص بفيسبوك يقيد الوصول إلى البيانات للباحثين المعتمدين، لكن أوزان النماذج تسربت وأصبحت متاحة على نطاق واسع.}}
|يحتوي Corpus على 20 لغة. "مُدرَّب أكثر" (مقارنة بقانون تحجيم شينشيلا) للحصول على أداء أفضل مع عدد أقل من المعلمات.<ref name="llama-blog"/>
|-
|[[جي بي تي-4]]
|GPT-4
|{{فرز تاريخ| مارس 2023}}
|أوبن أيه آي
|غير معروف{{ملا|كما هو مذكور في التقرير الفني: "نظرًا للمشهد التنافسي والتأثيرات الأمنية للنماذج واسعة النطاق مثل GPT-4، لا يحتوي هذا التقرير على مزيد من التفاصيل حول الهندسة المعمارية (بما في ذلك حجم النموذج)، والأجهزة، وحوسبة التدريب، وبناء مجموعة البيانات، وطريقة التدريب ..."<ref name="GPT4Tech">{{استشهاد بويب | تاريخ = 2023| عنوان = GPT-4 Technical Report| مسار = https://cdn.openai.com/papers/gpt-4.pdf| موقع = [[أوبن أيه آي]]| تاريخ الوصول = 14 مارس 2023| تاريخ أرشيف = 14 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf| حالة المسار = live| صيغة = pdf}}</ref>}} (وفقا للشائعات: 1760)<ref>{{استشهاد بويب | مؤلف1-الأخير = Schreiner| مؤلف1-الأول = Maximilian| تاريخ = 11 يوليو 2023| عنوان = GPT-4 architecture, datasets, costs and more leaked| مسار = https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/| تاريخ الوصول = 26 يوليو 2024| موقع = THE DECODER| لغة = الإنجليزية| تاريخ أرشيف = 12 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230712123915/https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/| حالة المسار = live}}</ref>
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|متاح لمستخدمي شات جي بي تي بلس ويُستخدم في [[جي بي تي 4|العديد من المنتجات]].
|-
|
|Cerebras-GPT
|{{فرز تاريخ| مارس 2023}}
|[[Cerebras]]
|{{ترتيب|13000000000|13}}<ref name="D0k2a">{{استشهاد بويب| مسار = https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/| عنوان = Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models| مؤلف1-الأول = Nolan| مؤلف1-الأخير = Dey| تاريخ = 28 مارس 2023| موقع = Cerebras| تاريخ الوصول = 28 مارس 2023| تاريخ أرشيف = 28 مارس 2023| مسار أرشيف =https://web.archive.org/web/20230328213339/https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/| حالة المسار = live}}</ref>
|
|270<ref name=":3"/>|
| {{أجل|أباتشي 2.0}}
|دُرِّب باستخدام صيغة شينشيلا.
|-
|فالكون
|FALCON
|{{فرز تاريخ| مارس 2023}}
|[[معهد الابتكار التكنولوجي]]
|{{ترتيب|40000000000|40}}<ref name="falcon">{{استشهاد بويب | عنوان = Abu Dhabi-based TII launches its own version of ChatGPT| مسار = https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/| موقع = tii.ae| تاريخ الوصول = 03 أبريل 2023| تاريخ أرشيف = 03 أبريل 2023| مسار أرشيف =https://web.archive.org/web/20230403021729/https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/| حالة المسار = live}}</ref>
|1 تريليون رمز مميز، من ريفايندويب (مجموعة نصوص ويب مفلترة)<ref name="Xb1gq">{{Cite arXiv | مؤلف1-الأخير = Penedo| مؤلف1-الأول = Guilherme| مؤلف2-الأخير = Malartic| مؤلف2-الأول = Quentin| مؤلف3-الأخير = Hesslow| مؤلف3-الأول = Daniel| مؤلف4-الأخير = Cojocaru| مؤلف4-الأول = Ruxandra| مؤلف5-الأخير = Cappelli| مؤلف5-الأول = Alessandro| مؤلف6-الأخير = Alobeidli| مؤلف6-الأول = Hamza| مؤلف7-الأخير = Pannier| مؤلف7-الأول = Baptiste| مؤلف8-الأخير = Almazrouei| مؤلف8-الأول = Ebtesam| مؤلف9-الأخير = Launay| مؤلف9-الأول = Julien| تاريخ = 01 يونيو 2023| عنوان = The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only| class = cs.CL| eprint = 2306.01116}}</ref> بالإضافة إلى بعض "المجموعات النصية المنسقة".<ref name="gzTNw">{{استشهاد بويب | تاريخ = 09 يونيو 2023| عنوان = tiiuae/falcon-40b · Hugging Face| مسار = https://huggingface.co/tiiuae/falcon-40b| تاريخ الوصول = 20 يونيو 2023| موقع = huggingface.co| مسار أرشيف =https://archive.today/20230602224640/https://huggingface.co/tiiuae/falcon-40b| تاريخ أرشيف = 02 يونيو 2023}}</ref>
|2800<ref name=":5"/>|
| {{أجل|أباتشي 2.0}}<ref name="Wmlcs">{{استشهاد بويب| مسار = https://www.businesswire.com/news/home/20230531005608/en/UAE%27s-Falcon-40B-World%27s-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free| مسار أرشيف =https://web.archive.org/web/20240208133040/https://www.businesswire.com/news/home/20230531005608/en/UAE%27s-Falcon-40B-World%27s-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free| تاريخ أرشيف = 08 فبراير 2024| عنوان = UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free| تاريخ الوصول = 07 أكتوبر 2024}}</ref>
|
|-
|بلومبيرغ جي بي تي
|BloombergGPT
|{{فرز تاريخ| مارس 2023}}
|[[بلومبيرغ إل بي]]
|{{ترتيب|50000000000|50}}
|363 مليار رمز. مجموعة بيانات تعتمد على مصادر بيانات بلومبرج، بالإضافة إلى 345 مليار رمز من مجموعات البيانات للأغراض العامة <ref name="nGOSu">{{استشهاد بأرخايف| عنوان = BloombergGPT: A Large Language Model for Finance| مؤلف1-الأول = Shijie| مؤلف1-الأخير = Wu| مؤلف2-الأول = Ozan| مؤلف2-الأخير = Irsoy| مؤلف3-الأول = Steven| مؤلف3-الأخير = Lu| مؤلف4-الأول = Vadim| مؤلف4-الأخير = Dabravolski| مؤلف5-الأول = Mark| مؤلف5-الأخير = Dredze| مؤلف6-الأول = Sebastian| مؤلف6-الأخير = Gehrmann| مؤلف7-الأول = Prabhanjan| مؤلف7-الأخير = Kambadur| مؤلف8-الأول = David| مؤلف8-الأخير = Rosenberg| مؤلف9-الأول = Gideon| مؤلف9-الأخير = Mann| تاريخ = 30 مارس 2023| class = cs.LG| eprint = 2303.17564}}</ref>
||
| {{كلا|خاصة}}
|دُرِّب على البيانات المالية من مصادر خاصة، للمهام المالية.
|-
|
|{{Ill-WD2|هواوي بانجو|id=Q124683248}}
|{{فرز تاريخ| مارس 2023}}
|[[هواوي]]
|{{ترتيب|1085000000000|1085}}
|329 مليار رمز مميز<ref name="9WSFw">{{استشهاد بأرخايف| عنوان = PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing| مؤلف1-الأول = Xiaozhe| مؤلف1-الأخير = Ren| مؤلف2-الأول = Pingyi| مؤلف2-الأخير = Zhou| مؤلف3-الأول = Xinfan| مؤلف3-الأخير = Meng| مؤلف4-الأول = Xinjing| مؤلف4-الأخير = Huang| مؤلف5-الأول = Yadao| مؤلف5-الأخير = Wang| مؤلف6-الأول = Weichao| مؤلف6-الأخير = Wang| مؤلف7-الأول = Pengfei| مؤلف7-الأخير = Li| مؤلف8-الأول = Xiaoda| مؤلف8-الأخير = Zhang| مؤلف9-الأول = Alexander| مؤلف9-الأخير = Podolskiy| مؤلف10-الأول = Grigory| مؤلف10-الأخير = Arshinov| مؤلف11-الأول = Andrey| مؤلف11-الأخير = Bout| مؤلف12-الأول = Irina| مؤلف12-الأخير = Piontkovskaya| مؤلف13-الأول = Jiansheng| مؤلف13-الأخير = Wei| مؤلف14-الأول = Xin| مؤلف14-الأخير = Jiang| مؤلف15-الأول = Teng| مؤلف15-الأخير = Su| مؤلف16-الأول = Qun| مؤلف16-الأخير = Liu| مؤلف17-الأول = Jun| مؤلف17-الأخير = Yao| تاريخ = 19 مارس 2023| class = cs.CL| eprint = 2303.10845}}</ref>
||
| {{كلا|خاصة}}
|
|-
|مساعد مفتوح
|OpenAssistant<ref name="JiOl8">{{استشهاد بأرخايف| eprint = 2304.07327| class = cs.CL| مؤلف1-الأخير = Köpf| مؤلف1-الأول = Andreas| مؤلف2-الأول = Yannic| مؤلف2-الأخير = Kilcher| عنوان = OpenAssistant Conversations – Democratizing Large Language Model Alignment| تاريخ = 14 أبريل 2023| مؤلف3-الأخير = von Rütte| مؤلف4-الأخير = Anagnostidis| مؤلف5-الأخير = Tam| مؤلف6-الأخير = Stevens| مؤلف7-الأخير = Barhoum| مؤلف8-الأخير = Duc| مؤلف9-الأخير = Stanley| مؤلف3-الأول = Dimitri| مؤلف4-الأول = Sotiris| مؤلف5-الأول = Zhi-Rui| مؤلف6-الأول = Keith| مؤلف7-الأول = Abdullah| مؤلف8-الأول = Nguyen Minh| مؤلف9-الأول = Oliver| مؤلف10-الأخير = Nagyfi| مؤلف10-الأول = Richárd| مؤلف11-الأخير = ES| مؤلف11-الأول = Shahul| مؤلف12-الأخير = Suri| مؤلف12-الأول = Sameer| مؤلف13-الأخير = Glushkov| مؤلف13-الأول = David| مؤلف14-الأخير = Dantuluri| مؤلف14-الأول = Arnav| مؤلف15-الأخير = Maguire| مؤلف15-الأول = Andrew}}</ref>
|{{فرز تاريخ| مارس 2023}}
|{{وإو|لايون|LAION}}
|{{ترتيب|17000000000|17}}
|1.5 تريليون رمز مميز
||
| {{أجل|أباتشي 2.0}}
|دُرِّب على البيانات المفتوحة المستمدة من الجمهور
|-
|جوراسيك-2
|Jurassic-2<ref>{{استشهاد بويب| عنوان = Tel Aviv startup rolls out new advanced AI language model to rival OpenAI| مسار = https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/| تاريخ الوصول = 24 يوليو 2023| موقع = www.timesofisrael.com| مؤلف1-الأخير = Wrobel| مؤلف1-الأول = Sharon| مسار أرشيف =https://web.archive.org/web/20230724191823/https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/| تاريخ أرشيف = 24 يوليو 2023| حالة المسار = live}}</ref>
|{{فرز تاريخ| مارس 2023}}
|{{وإو|أيه 121 لابز|AI21 Labs}}
|غير معروف
|غير معروف
||
| {{كلا|خاصة}}
|متعدد اللغات<ref>{{استشهاد بويب | مؤلف1-الأخير = Wiggers| مؤلف1-الأول = Kyle| تاريخ = 13 أبريل 2023| عنوان = With Bedrock, Amazon enters the generative AI race| مسار = https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/| تاريخ الوصول = 24 يوليو 2023| موقع = TechCrunch| تاريخ أرشيف = 24 يوليو 2023| مسار أرشيف =https://web.archive.org/web/20230724102458/https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/| حالة المسار = live}}</ref>
|-
|[[بالم (ذكاء اصطناعي)|بالم 2]] (نموذج مسارات اللغة 2)
|PaLM2
|{{فرز تاريخ|مايو 2023}}
|جوجل
|{{ترتيب|340000000000|340}}<ref name="cnbc-20230516">{{استشهاد بويب | مؤلف1-الأخير = Elias| مؤلف1-الأول = Jennifer| مسار = https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html| عنوان = Google's newest A.I. model uses nearly five times more text data for training than its predecessor| عمل = [[سي إن بي سي]]| تاريخ = 16 مايو 2023| تاريخ الوصول = 18 مايو 2023| تاريخ أرشيف = 16 مايو 2023| مسار أرشيف =https://web.archive.org/web/20230516225326/https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html| حالة المسار = live}}</ref>
|{{ترتيب|3600000000000|3.6 تريليون}} رمز مميز<ref name="cnbc-20230516"/>
|85000<ref name=":5"/>|
| {{كلا|خاصة}}
|كان يستخدم في [[جيميناي (بوت دردشة)|روبوت الدردشة بارد]].<ref name="pWyLA">{{استشهاد بويب| مسار = https://blog.google/technology/ai/google-palm-2-ai-large-language-model/| عنوان = Introducing PaLM 2| تاريخ = 10 مايو 2023| موقع = Google| تاريخ الوصول = 18 مايو 2023| تاريخ أرشيف = 18 مايو 2023| مسار أرشيف =https://web.archive.org/web/20230518213209/https://blog.google/technology/ai/google-palm-2-ai-large-language-model/| حالة المسار = live}}</ref>
|-
|لاما 2
|LLaMA 2
|{{فرز تاريخ|يوليو 2023}}
|ميتا أيه آي
|{{ترتيب|70000000000|70}}<ref name="meta-20230719">{{استشهاد بويب | مسار = https://ai.meta.com/llama/| عنوان = Introducing Llama 2: The Next Generation of Our Open Source Large Language Model| تاريخ الوصول = 19 يوليو 2023| موقع = Meta AI| تاريخ = 2023| تاريخ أرشيف = 05 يناير 2024| مسار أرشيف =https://web.archive.org/web/20240105234629/https://ai.meta.com/llama/| حالة المسار = live}}</ref>
|{{ترتيب|2000000000000|2 تريليون}} رمز مميز<ref name="meta-20230719"/>
|21000|| {{partial success|رخصة لاما 2}}
|1.7 مليون ساعة A100.<ref>{{استشهاد بويب | عنوان = llama/MODEL_CARD.md at main · meta-llama/llama| مسار = https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md| تاريخ الوصول = 28 مايو 2024| موقع = GitHub| تاريخ أرشيف = 28 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240528090541/https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md| حالة المسار = live}}</ref>
|-
|[[كلود (نموذج لغوي)|كلود 2]]
|Claude2
|{{فرز تاريخ|يوليو 2023}}
|أنثروبيك
|غير معروف
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|يُستخدم في برنامج الدردشة الآلي كلود.<ref>{{استشهاد بويب | عنوان = Claude 2| مسار = https://www.anthropic.com/index/claude-2| موقع = anthropic.com| تاريخ الوصول = 12 ديسمبر 2023| تاريخ أرشيف = 15 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231215212208/https://www.anthropic.com/index/claude-2| حالة المسار = live}}</ref>
|-
|
|{{Ill-WD2|آي بي إم جرانيت|id=Q124693286}}
|{{فرز تاريخ|يوليو 2023}}
|[[آي بي إم]]
|غير معروف
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|يُستخدم في آي بي إم واتسونكس.<ref>{{استشهاد بويب | مؤلف1-الأخير = Nirmal| مؤلف1-الأول = Dinesh| تاريخ = 07 سبتمبر 2023| عنوان = Building AI for business: IBM's Granite foundation models| مسار = https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models| تاريخ الوصول = 11 أغسطس 2024| موقع = IBM Blog| لغة = الإنجليزية| تاريخ أرشيف = 22 يوليو 2024| مسار أرشيف =https://web.archive.org/web/20240722083855/https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models/| حالة المسار = live}}</ref>
|-
|
|Mistral 7B
|{{فرز تاريخ|سبتمبر 2023}}
|[[ميسترال (ذكاء اصطناعي)|ميسترال]]
|{{ترتيب|7300000000|7.3}}<ref name="mistral-20230927">{{استشهاد بويب | مسار = https://mistral.ai/news/announcing-mistral-7b/| عنوان = Announcing Mistral 7B| تاريخ الوصول = 06 أكتوبر 2023| موقع = Mistral| تاريخ = 2023| تاريخ أرشيف = 06 يناير 2024| مسار أرشيف =https://web.archive.org/web/20240106051047/https://mistral.ai/news/announcing-mistral-7b/| حالة المسار = live}}</ref>
|غير معروف
||
| {{أجل|أباتشي 2.0}}
|
|-
|[[كلود (نموذج لغوي)|كلود 2.1]]
|Claude2.1
|{{فرز تاريخ|نوفمبر 2023}}
|أنثروبيك
|غير معروف
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|يستخدم في برنامج الدردشة الآلي كلود. يحتوي على نافذة سياقية تحتوي على 200000 رمز، أو نحو 500 صفحة.<ref>{{استشهاد بويب | عنوان = Introducing Claude 2.1| مسار = https://www.anthropic.com/index/claude-2-1| موقع = anthropic.com| تاريخ الوصول = 12 ديسمبر 2023| تاريخ أرشيف = 15 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231215201726/https://www.anthropic.com/index/claude-2-1| حالة المسار = live}}</ref>
|-
|غروك-1<ref>{{استشهاد | عنوان = xai-org/grok-1| تاريخ = 19 مارس 2024| مسار = https://github.com/xai-org/grok-1| تاريخ الوصول = 19 مارس 2024| ناشر = xai-org| تاريخ أرشيف = 28 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240528170731/https://github.com/xai-org/grok-1| حالة المسار = live| صحيفة = [[غيت هاب]]}}</ref>
|Grok-1
|{{فرز تاريخ|نوفمبر 2023}}
|{{وإو|إكس.أيه آي|x.AI}}
|314
|غير معروف
|غير معروف|
| {{أجل|أباتشي 2.0}}
|يستخدم في روبوت الدردشة [[غروك (بوت دردشة)|غروك]]. يحتوي غروك-1 على سياق يبلغ 8,192 رمزًا مميزًا ويمكنه الوصول إلى X (تويتر).<ref>{{استشهاد بويب | عنوان = Grok-1 model card| مسار = https://x.ai/model-card/| موقع = x.ai| تاريخ الوصول = 12 ديسمبر 2023| مسار أرشيف =https://archive.today/20231105194822/https://x.ai/model-card/| تاريخ أرشيف = 05 نوفمبر 2023}}</ref>
|-
|[[جيميناي|جيميناي 1.0]]
|Gemini 1.0
|{{فرز تاريخ|ديسمبر 2023}}
|[[ديب مايند]]
|غير معروف
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|نموذج متعدد الوسائط، يأتي بثلاثة أحجام. يُستخدم في [[جيميناي (بوت دردشة)|روبوت الدردشة الذي يحمل نفس الاسم]].<ref>{{استشهاد بويب | عنوان = Gemini – Google DeepMind| مسار = https://deepmind.google/technologies/gemini/#capabilities| موقع = deepmind.google| تاريخ الوصول = 12 ديسمبر 2023| تاريخ أرشيف = 08 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231208015607/https://deepmind.google/technologies/gemini/#capabilities| حالة المسار = live}}</ref>
|-
|
|Mixtral 8x7B
|{{فرز تاريخ|ديسمبر 2023}}	
|[[ميسترال (ذكاء اصطناعي)|ميسترال]]
|46.7
|غير معروف
|غير معروف|
| {{أجل|أباتشي 2.0}}
|يتفوق على GPT-3.5 وLlama 2 70B في العديد من المعايير.<ref>{{استشهاد بويب | مؤلف1-الأخير = Franzen| مؤلف1-الأول = Carl| عنوان = Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance| مسار = https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/| موقع = VentureBeat| تاريخ الوصول = 12 ديسمبر 2023| تاريخ = 11 ديسمبر 2023| تاريخ أرشيف = 11 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231211213640/https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/| حالة المسار = live}}</ref> وهو نموذج [[مزيج من الخبراء]]، مع 12.9 مليار معلمة مفعلة لكل رمز مميز.<ref>{{استشهاد بويب | تاريخ = 11 ديسمبر 2023| عنوان = Mixtral of experts| مسار = https://mistral.ai/news/mixtral-of-experts/| تاريخ الوصول = 12 ديسمبر 2023| موقع = mistral.ai| تاريخ أرشيف = 13 فبراير 2024| مسار أرشيف =https://web.archive.org/web/20240213104049/https://mistral.ai/news/mixtral-of-experts/| حالة المسار = live}}</ref>
|-
|
|Mixtral 8x22B
|{{فرز تاريخ|أبريل 2024}}
|[[ميسترال (ذكاء اصطناعي)|ميسترال]]
|141
|غير معروف
|غير معروف|
| {{أجل|أباتشي 2.0}}
|<ref>{{استشهاد بويب | مؤلف1-الأخير = AI| مؤلف1-الأول = Mistral| تاريخ = 17 أبريل 2024| عنوان = Cheaper, Better, Faster, Stronger| مسار = https://mistral.ai/news/mixtral-8x22b/| تاريخ الوصول = 05 مايو 2024| موقع = mistral.ai| تاريخ أرشيف = 05 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240505023828/https://mistral.ai/news/mixtral-8x22b/| حالة المسار = live}}</ref>
|-
|
|[[Phi (LLM)|Phi-2]]
|{{فرز تاريخ|ديسمبر 2023}}
|مايكروسوفت
|2.7
|1.4 تريليون رمز مميز
|419<ref name=":9"/>|
| {{أجل|إم آي تي}}
|جرى التدريب على بيانات حقيقية وصناعية "بجودة الكتب المدرسية"، لمدة 14 يومًا على 96 وحدة معالجة رسومية A100.<ref name=":9">{{استشهاد بويب | مؤلف1-الأخير = Hughes| مؤلف1-الأول = Alyssa| عنوان = Phi-2: The surprising power of small language models| مسار = https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/| موقع = Microsoft Research| تاريخ الوصول = 13 ديسمبر 2023| تاريخ = 12 ديسمبر 2023| تاريخ أرشيف = 12 ديسمبر 2023| مسار أرشيف =https://web.archive.org/web/20231212232647/https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/| حالة المسار = live}}</ref>
|-
|[[جيميناي|جيميناي 1.5]]
|Gemini 1.5
|{{فرز تاريخ|فبراير 2024}}
|[[ديب مايند]]
|غير معروف
|غير معروف
|غير معروف|
| {{كلا|خاصة}}
|نموذج متعدد الوسائط، يعتمد على بنية [[مزيج من الخبراء]] (MoE). نافذة السياق فوق مليون رمز.<ref>{{استشهاد بويب | عنوان = Our next-generation model: Gemini 1.5| مسار = https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window| موقع = Google| تاريخ الوصول = 16 فبراير 2024| تاريخ = 15 فبراير 2024| اقتباس = This means 1.5 Pro can process vast amounts of information in one go — including 1 hour of video, 11 hours of audio, codebases with over 30,000 lines of code or over 700,000 words. In our research, we’ve also successfully tested up to 10 million tokens.| تاريخ أرشيف = 16 فبراير 2024| مسار أرشيف =https://web.archive.org/web/20240216003052/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window| حالة المسار = live}}</ref>
|-
|جيما
|Gemma
|{{فرز تاريخ|فبراير 2024}}
|[[ديب مايند]]
|7
|6 تريليون رمز مميز
|غير معروف|| {{partial success|شروط استخدام جيما}}<ref name="gemma">{{استشهاد بويب| مسار = https://ai.google.dev/gemma/terms| عنوان = Gemma| عبر = GitHub| مسار أرشيف =https://archive.today/20240221182134/https://ai.google.dev/gemma/terms| تاريخ أرشيف = 21 فبراير 2024| تاريخ الوصول = 07 أكتوبر 2024}}</ref>
|
|-
|[[كلود (نموذج لغوي)|كلود 3]]
|Claude3
| مارس 2024
|أنثروبيك
|غير معروف
|غير معروف
|غير معروف
|{{كلا|ملكية خاصة}}
|يتضمن ثلاثة نماذج، هايكو، وسونيت، وأوبوس.<ref>{{استشهاد بويب | عنوان = Introducing the next generation of Claude| مسار = https://www.anthropic.com/news/claude-3-family| تاريخ الوصول = 04 مارس 2024| موقع = www.anthropic.com| تاريخ أرشيف = 04 مارس 2024| مسار أرشيف =https://web.archive.org/web/20240304143650/https://www.anthropic.com/news/claude-3-family| حالة المسار = live}}</ref>
|-
|[https://rubiks.ai/nova/release/ نوفا]
|Nova
|أكتوبر 2024
|[https://rubiks.ai/ روبيك أيه آي]
|غير معروف
|غير معروف
|غير معروف
|{{كلا|ملكية خاصة}}
|يتضمن ثلاثة نماذج، Nova-Instant، وNova-Air، وNova-Pro.
|-
|
|[[DBRX]]
| مارس 2024
|داتابريكس وموزيك إم إل
|{{ترتيب|13600000000|136}}
|12 تريليون رمز مميز
|
|{{أجل|الترخيص النموذجي المفتوح داتا بريكس}}
| تكلفة التدريب 10 مليون دولار أمريكي
|-
|
|Fugaku-LLM
|مايو 2024
|[[فوجيتسو]]، [[معهد طوكيو للتكنولوجيا]]
|{{ترتيب|1300000000|13}}
|380 مليار رمز مميز
|
|
|أكبر نموذج دُرِّب على الإطلاق على وحدة المعالجة المركزية فقط، على [[فوغاكو (كمبيوتر خارق)|فوغاكو]].<ref>{{استشهاد بويب | عنوان = Fugaku-LLM/Fugaku-LLM-13B · Hugging Face| مسار = https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B| تاريخ الوصول = 17 مايو 2024| موقع = huggingface.co| تاريخ أرشيف = 17 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240517135225/https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B| حالة المسار = live}}</ref>
|-
|
|[[Phi (LLM)|Phi-3]]
|{{فرز تاريخ|أبريل 2024}}
|مايكروسوفت
|14<ref>{{استشهاد بويب| عنوان = Phi-3| مسار = https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms| تاريخ الوصول = 28 أبريل 2024| موقع = azure.microsoft.com| تاريخ = 23 أبريل 2024| تاريخ أرشيف = 27 أبريل 2024| مسار أرشيف =https://web.archive.org/web/20240427043835/https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/| حالة المسار = live}}</ref>
|4.8 تريليون رمز مميز
|
|{{أجل|إم آي تي}}
|تسوقه مايكروسوفت باعتباره "نموذج لغة صغير".<ref>{{استشهاد بويب| عنوان = Phi-3 Model Documentation| مسار = https://huggingface.co/docs/transformers/main/en/model_doc/phi3| تاريخ الوصول = 28 أبريل 2024| موقع = huggingface.co| تاريخ أرشيف = 13 مايو 2024| مسار أرشيف =https://web.archive.org/web/20240513141513/https://huggingface.co/docs/transformers/main/en/model_doc/phi3| حالة المسار = live}}</ref>
|-
|
|{{Ill-WD2|آي بي إم جرانيت|id=Q124693286}}
|{{فرز تاريخ|مايو 2024}}
|[[آي بي إم]]
|غير معروف
|غير معروف
|غير معروف|
| {{أجل|أباتشي 2.0}}
|
|-
|
|Qwen2
|{{فرز تاريخ|يونيو 2024}}
|[[سحابة علي بابا]]
|72<ref>{{استشهاد بويب| عنوان = Qwen2| موقع = [[غيت هاب]]| مسار = https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5| تاريخ الوصول = 17 يونيو 2024| تاريخ أرشيف = 17 يونيو 2024| مسار أرشيف =https://web.archive.org/web/20240617072401/https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5| حالة المسار = live}}</ref>
|3 تريليون رمز مميز
|
|
|له أحجام متعددة، أصغرها هو 0.5B.
|-
|
|Nemotron-4
|يونيو 2024
|[[إنفيديا]]
|{{ترتيب|34000000000|340}}
|9 تريليون رمز مميز
|200,000
|{{أجل|ترخيص إنفيديا النموذج المفتوح}}	
|دُرِّب على 6144 وحدة معالجة رسومية H100 بين ديسمبر 2023 ومايو 2024.<ref>{{استشهاد بويب | تاريخ = 14 يونيو 2024| عنوان = nvidia/Nemotron-4-340B-Base · Hugging Face| مسار = https://huggingface.co/nvidia/Nemotron-4-340B-Base| تاريخ الوصول = 15 يونيو 2024| موقع = huggingface.co| تاريخ أرشيف = 15 يونيو 2024| مسار أرشيف =https://web.archive.org/web/20240615010323/https://huggingface.co/nvidia/Nemotron-4-340B-Base| حالة المسار = live}}</ref><ref>{{استشهاد بويب | عنوان = Nemotron-4 340B {{!}} Research| مسار = https://research.nvidia.com/publication/2024-06_nemotron-4-340b| تاريخ الوصول = 15 يونيو 2024| موقع = research.nvidia.com| تاريخ أرشيف = 15 يونيو 2024| مسار أرشيف =https://web.archive.org/web/20240615010323/https://research.nvidia.com/publication/2024-06_nemotron-4-340b| حالة المسار = live}}</ref>
|-
|لاما 3.1
|LLaMA3.1
|يوليو 2024
|ميتا أيه آي
|405
|15.6 تريليون رمز مميز
|440,000
| {{partial success|ترخيص لاما 3}}
| استغرق "الإصدار 405B" نحو 31 مليون ساعة على "H100-80GB" عند 3.8E25 فلوب.<ref>{{استشهاد بويب| مسار = https://ai.meta.com/research/publications/the-llama-3-herd-of-models/| مسار أرشيف =https://archive.today/20240724083701/https://ai.meta.com/research/publications/the-llama-3-herd-of-models/| تاريخ أرشيف = 24 يوليو 2024| عنوان = "The Llama 3 Herd of Models" (July 23, 2024) Llama Team, AI @ Meta| تاريخ الوصول = 07 أكتوبر 2024| صحيفة = Meta AI}}</ref><ref>{{استشهاد بويب | عنوان = llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models| مسار = https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md| تاريخ الوصول = 23 يوليو 2024| موقع = GitHub| لغة = الإنجليزية| تاريخ أرشيف = 23 يوليو 2024| مسار أرشيف =https://web.archive.org/web/20240723151851/https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md| حالة المسار = live}}</ref>
|-
|علَّام 7B
|ALLaM 7B<ref name="مولد تلقائيا4">{{استشهاد بويب|عنوان=qualcomm/Allam-7B · Hugging Face|مسار=https://router.huggingface.co/qualcomm/Allam-7B|تاريخ-الوصول=2025-02-18|صحيفة=huggingface.co}}</ref>
|يناير 
2025
|[[الهيئة السعودية للبيانات والذكاء الاصطناعي|سدايا]]
|7B<ref name="مولد تلقائيا4" />
|1024 تريليون رمزًا مميزًا
|
| {{أجل|أباتشي 2.0}}
|}

== انظر أيضًا ==
* {{وإو|نموذج أساسي|Foundation model}}

== قراءة متعمقة ==
* [[Dan Jurafsky|Jurafsky, Dan]], Martin, James. H. [https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf ''Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''], 3rd Edition draft, 2023.
* {{cite arXiv | مؤلف1-الأخير = Zhao| مؤلف1-الأول = Wayne Xin| مؤلف2-الأخير = Zhou| مؤلف2-الأول = Kun| مؤلف3-الأخير = Li| مؤلف3-الأول = Junyi| إظهار المؤلفين = 1| عنوان = A Survey of Large Language Models| تاريخ = 2023| eprint = 2303.18223}}
* {{cite arXiv | مؤلف1-الأخير = Kaddour| مؤلف1-الأول = Jean| إظهار المؤلفين = etal| عنوان = Challenges and Applications of Large Language Models| تاريخ = 2023| eprint = 2307.10169}}
* {{استشهاد بويب| عنوان = A Survey on Multimodal Large Language Models| مسار = https://arxiv.org/abs/2306.13549| تاريخ الوصول = 07 أكتوبر 2024| صحيفة = arXiv.org| تاريخ = 23 يونيو 2023| مؤلف = Yin| مؤلف1-الأول = Shukang| لغة = الإنجليزية| مؤلف2 = Fu| مؤلف3 = Zhao| مؤلف4 = Li| مؤلف5 = Sun| مؤلف6 = Xu| مؤلف7 = Chen| مؤلف2-الأول = Chaoyou| مؤلف3-الأول = Sirui| مؤلف4-الأول = Ke| مؤلف5-الأول = Xing| مؤلف6-الأول = Tong| مؤلف7-الأول = Enhong| مسار أرشيف = http://web.archive.org/web/20241126233002/https://arxiv.org/abs/2306.13549| تاريخ أرشيف =2024-11-26}}
* {{استشهاد بويب | عنوان = AI Index Report 2024 – Artificial Intelligence Index| مسار = https://aiindex.stanford.edu/report/| تاريخ الوصول = 05 مايو 2024| موقع = aiindex.stanford.edu| مسار أرشيف =https://archive.today/20240426011309/https://aiindex.stanford.edu/report/| تاريخ أرشيف = 26 أبريل 2024}}
* {{استشهاد بدورية محكمة | مؤلف1-الأخير = Frank| مؤلف1-الأول = Michael C.| عنوان = Baby steps in evaluating the capacities of large language models| صحيفة = Nature Reviews Psychology| تاريخ = 27 يونيو 2023| المجلد = 2| العدد = 8| صفحات = 451–452| doi = 10.1038/s44159-023-00211-x| s2cid = 259713140| مسار = https://www.nature.com/articles/s44159-023-00211-x| تاريخ الوصول = 2 يوليو 2023| issn = 2731-0574| مسار أرشيف =https://archive.today/20230712033938/https://www.nature.com/articles/s44159-023-00211-x| تاريخ أرشيف = 12 يوليو 2023}}

== ملاحظات ==
{{ملاحظات}}

== مراجع ==
{{مراجع}}
{{معالجة اللغات الطبيعية}}
{{شريط سفلي ذكاء اصطناعي}}
{{ذكاء اصطناعي توليدي}}
{{روابط شقيقة}}


{{شريط بوابات|لسانيات|تقانة|ذكاء اصطناعي|علم الحاسوب|تقانة المعلومات}}
[[تصنيف:نماذج لغوية كبيرة|*]]
[[تصنيف:التعلم العميق]]
[[تصنيف:معالجة اللغات الطبيعية]]