المعرفة

GPT-3

محول توليدي مسبق التدريب 3 (GPT-3) Generative Pre-trained Transformer 3 هو نموذج لغوي ذاتي الانحدار والذي يستخدم التعلم العميق لإنتاج نص شبيه بالنص البشري. فهو نموذج التنبؤ اللغوي من الجيل الثالث في سلسلة GPT-n التي تم إنشاؤها بواسطة OpenAI، وهو مختبر أبحاث ذكاء اصطناعي ربحي ومقره سان فرانسيسكو.[2] تبلغ سعة الإصدار الكامل لـ GPT-3 175 مليار پارامتر للتعلم الآلي. GPT-3، الذي تم تقديمه في مايو 2020، وهو قيد الاختبار التجريبي اعتباراً من يوليو 2020،[3] وهو جزء من اتجاه في أنظمة معالجة اللغات الطبيعية (NLP) لتمثيلات اللغة المدربة مسبقاً.[1]قبل إصدار GPT-3، كان أكبر نموذج لغوي هو تورنگ NLG من مايكروسوفت، والذي تم تقديمه في فبراير 2020، بسعة 17 مليار پارامتر أو أقل من 10 بالمائة مقارنة بـ GPT-3.[4]

Generative Pre-trained Transformer 3 (GPT-3)
المؤلف الأصليOpenAI[1]
الإطلاق المبدئيJune 11, 2020 (beta)
المستودعgithub.com/openai/gpt-3
النوعAutoregressive Transformer language model
الرخصةCode unavailable, only accessible by a paywalled API
الموقع الإلكترونيopenai.com/blog/openai-api

البنية عبارة عن شبكة تحويلية تعمل بنظام فك التشفير فقط بسياق طول 2048 - رمزاً - وحجماً غير مسبوق يبلغ 175 مليار پارامتر، تتطلب 800 جيجابايت للتخزين. دُرِّب النموذج باستخدام التدريب المسبق التوليدي؛ حيث يُدرَّب على التنبؤ بالرموز التالية بناءً على الرموز السابقة. أظهر النموذج تعلماً قوياً بدون ملاحظة و قليل الملاحظة في العديد من المهام.[5]

يتميز النص المؤلَّف بواسطة GPT-3 بدقة وجودة عالية جداً بحيث يصعب تمييزها عن تلك التي يكتبها الإنسان، والتي لها فوائد ومخاطر على حد سواء.[4] قدم واحد وثلاثون باحثاً ومهندساً من OpenAI الورقة الأصلية بتاريخ 28 مايو 2020 والتي تقدم GPT-3. في ورقتهم، حذروا من المخاطر المحتملة لـ GPT-3 ودعوا إلى إجراء بحث للتخفيف من تلك المخاطر.[1]:34 فقد وصف ديڤد تشالمرز، الفيلسوف الأسترالي، GPT-3 بأنه "أحد أكثر أنظمة الذكاء الاصطناعي إثارة للاهتمام والأهمية التي تم إنتاجها على الإطلاق."[6]

وقد أعلنت مايكروسوفت في 22 سبتمبر 2020 أنها قامت بترخيص الاستخدام "الحصري" لـ GPT-3؛ ولا يزال بإمكان الآخرين استخدام واجهة برمجة التطبيقات العامة لتلقي المخرجات، ولكن مايكروسوفت هي المتحكم الحصري في شفرة المصدر.[7]

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

خلفية

للمزيد من المعلومات: GPT-2 § Background

وفقاً لـ الإكونومست، أدت الخوارزميات المحسّنة وأجهزة الحاسب القوية والزيادة في البيانات الرقمية إلى ثورة في التعلم الآلي، حيث أدت التقنيات الجديدة في العقد الأول من القرن الحادي والعشرين إلى "تحسينات سريعة في المهام" بما في ذلك التأثير باللغة.[8] يتم تدريب نماذج البرامج على التعلم باستخدام آلاف أو ملايين الأمثلة في "بنية ... تعتمد بشكل واسع على البنية العصبية للدماغ".[8]وهي إحدى الهياكل المستخدمة في معالجة اللغات الطبيعية (NLP) هي شبكة عصبونية تعتمد على نموذج التعلم العميق الذي تم تقديمه لأول مرة في عام 2017 - المحول.[9] تعتمد نماذج GPT-n على بنية الشبكة العصبية للتعلم العميق القائمة على المحولات. هناك عدد من أنظمة البرمجة اللغوية العصبية القادرة على المعالجة والتنقيب والتنظيم والربط والتباين والفهم وتوليد إجابات للأسئلة.[10]

في 11 يونيو 2018، نشر باحثو ومهندسو OpenAI ورقتهم الأصلية على النموذج التوليدي - نماذج اللغة - أنظمة الذكاء الاصطناعي - التي يمكن تدريبها مسبقاً باستخدام مجموعة هائلة ومتنوعة من النصوص عبر مجموعات البيانات، في عملية أطلقوا عليها generative pre-training (GP).[5] فقد وصف المؤلفون كيف تم تحسين أداء فهم اللغة في معالجة اللغة الطبيعية (NLP) في GPT-n من خلال عملية "التدريب المسبق التوليدي لنموذج اللغة على مجموعة متنوعة من النصوص غير المصنفة، متبوعاً بضبط دقيق تمييزي لكل مهمة محددة" هذا ما ألغى الحاجة إلى الإشراف البشري وللتصنيف اليدوي الذي يستغرق وقتاً طويلاً.[5]

في فبراير 2020، قدمت مايكروسوفت برنامج توليد تورنگ للغة الطبيعية Turing Natural Language Generation (T-NLG)، والذي كان آنذاك "أكبر نموذج لغة تم نشره على الإطلاق عند 17 مليار متغير."[11] فقد كان أداء البرنامج أفضل من أي نموذج لغة آخر في مجموعة متنوعة من المهام التي تضمنت تلخيص النصوص و الإجابة على الأسئلة.[11]


الإمكانيات

وصفت النسخة التمهيدية بتاريخ 28 مايو 2020 أرخيڤ بواسطة مجموعة من 31 مهندساً وباحثاً في OpenAI[أ] تطوير GPT-3 ، وهو الجيل الثالث من "نموذج اللغة الحديث" .[1][4]فقد زاد الفريق من قدرة GPT-3 بأكثر من أمرين من حيث الحجم مقارنة بسابقه، GPT-2،[12] مما جعل GPT-3 أكبر نموذج لغة غير متفرق\هزيل حتى الآن.[1]:14[2]حيث يمنح العدد الأكبر من الپارامترات لـ GPT-3 مستوى أعلى من الدقة مقارنة بالإصدارات السابقة ذات السعة الأصغر.[13]حيث تكون سعة GPT-3 أكبر بعشر مرات من قدرة تورنگ NLG الخاصة بـ مايكروسوفت.[4]

ستين بالمائة من مجموعة البيانات الموزونة قبل تدريب GPT-3 تأتي من نسخة تم تصفيتها\ترشيحها من زحف المشاع والتي تتكون من 410 مليار أزواج البايتات التي تم ترميزها.[1]:9 والمصادر الأخرى هي 19 مليار توكن من WebText2 تمثل 22٪ من الإجمالي المرجح، و 12 مليار توكن من Books1 تمثل 8٪، و 55 مليار توكن من Books2 تمثل 8٪، و 3 مليار توكن من ويكيپيديا تمثل 3٪.[1]:9 تم تدريب GPT-3 على مئات المليارات من الكلمات وهو قادر على الترميز في CSS و JSX و Python وغيرها.[3] نظراً لكون بيانات تدريب GPT-3 شاملة، فإنها لا تتطلب مزيداً من التدريب على مهام لغوية مميزة.[3]

بيانات تدريب GPT-3
Dataset # الرموز المميزة نسبة
التدريب
زحف المشاع 410 مليار 60%
WebText2 19 مليار 22%
Books1 12 مليار 8%
Books2 55 مليار 8%
ويكي‌پيديا 3 billion 3%

في 11 يونيو 2020، أعلنت شركة OpenAI أنه يمكن للمستخدمين طلب الوصول إلى API GPT-3 سهل الاستخدام - "مجموعة أدوات التعلم الآلي" - لمساعدة OpenAI "في استكشاف نقاط القوة والقيود" لهذه التقنية الجديدة.[14][15] وصفت الدعوة كيف أن واجهة برمجة التطبيقات هذه تحتوي على واجهة "نص داخل، نص مكتوب" للأغراض العامة يمكنها إكمال "أي مهمة باللغة الإنگليزية" تقريباً، بدلاً من حالة الاستخدام الفردية المعتادة.[14] وفقاً لأحد المستخدمين، الذي كان لديه حق الوصول إلى إصدار أولي خاص من OpenAI GPT-3 API، كان GPT-3 "جيداً بشكل رهيب" في كتابة "نص متماسك بشكل مثير للدهشة" مع بضع مطالبات بسيطة فقط.[16]

نظراً لإمكانية GPT-3 "إنشاء مقالات إخبارية يجد المقيمون البشريون صعوبة في تمييزها عن المقالات التي يكتبها البشر،"[4] تمتلك GPT-3 "إمكانية تطوير التطبيقات المفيدة والضارة لنماذج اللغة."[1]:34 في ورقة 28 مايو 2020، قام الباحثون بوصف تفصيلي لـ"الآثار الضارة المحتملة لـ GPT-3"[4] والتي تتضمن "معلومات مضللة، بريد عشوائي\مؤذي، التصيد الاحتيالي، إساءة استخدام الإجراءات القانونية والحكومية، كتابة المقالات الأكاديمية الاحتيالية وذرائع الهندسة الاجتماعية".[1]حيث يلفت المؤلفون الانتباه إلى هذه المخاطر للدعوة إلى إجراء بحث حول التخفيف من حدة المخاطر.[1]:34

مراجعات

قال فرهاد مانجو في مراجعته في 29 يوليو 2020 في نيويورك تايمز إن GPT-3 - التي يمكنها إنشاء كود حاسب والشعر، بالإضافة إلى النثر - ليست فقط "مذهلة" و "مخيفة" و "متواضعة"، ولكن أيضاً "أكثر من مرعبة قليلاً".[17]

قدمت صحيفة ديلي نوس سلسلة من المقالات بقلم تسعة مفكرون فلاسفة عن GPT-3.[18] وصف الفيلسوف الأسترالي ديڤد تشالمرز GPT-3 بأنه "أحد أكثر أنظمة الذكاء الاصطناعي إثارة للاهتمام والأكثر أهمية على الإطلاق".[6]

وقد ذكرت مراجعة في مجلة ويرد أن GPT-3 "أثار القشعريرة عبر وادي السِليكون".[19]

ذكر مقال في نحو علم البيانات أن GPT-3 تم تدريبه على مئات المليارات من الكلمات وهو قادر على الترميز في CSS و JSX و Python ولغات أخرى.[3]

ذكرت ناشونال لو رڤيو أن GPT-3 هي خطوة رائعة في العملية الأكبر، حيث وجد OpenAI وآخرون "تطبيقات مفيدة لكل هذه القوة" مع الاستمرار في "العمل نحو المزيد من الذكاء العام".[20]

ذكرت مقالة في تكنولوجي رڤيو، بقلم ناقد التعلم العميق گاري ماركس [21]، أن "فهم وإدراك العالم\البشر في GPT-3 غالباً ما يكون متوقفاً بشكل خطير وجدي، مما يعني أنه لا يمكنك الوثوق حقاً بما يقوله".[22] وفقًا للمؤلفين، يقوم GPT-3 بنمذجة العلاقات بين الكلمات دون فهم المعنى الكامن وراء كل كلمة.

أمثلة وتطبيقات

  • تم تنفيذ GPT-3 بواسطة جيسون رورر في مشروع روبوت محادثة ذو طابع قديم باسم مشروع ديسمبر، والذي يمكن الوصول إليه عبر الإنترنت، ويسمح للمستخدمين بالتحدث مع العديد من أنظمة الذكاء الاصطناعي باستخدام تقنية GPT-3.
  • تم استخدام GPT-3 بواسطة گارديان لكتابة مقال عن الذكاء الاصطناعي غير ضار بالبشر. تم تغذيتها ببعض الأفكار وأنتجت ثمانية مقالات مختلفة، والتي تم دمجها في النهاية في مقال واحد[23].
  • في سبتمبر 2020، أعلنت مايكروسوفت عن ترخيصها الحصري لمولد لغة الذكاء الاصطناعي GPT-3. ومع ذلك، فقد أثار مخاوف من أن الذكاء الاصطناعي يمكن أن يزيد من حملات التضليل، التي كانت تستهلك الكثير من الجهود البشرية.[24]

انظر أيضاً

ملاحظات

  1. ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario

مراجع

  1. ^ أ ب ت ث ج ح خ د ذ ر قالب:Cite arxiv
  2. ^ أ ب Shead, Sam (July 23, 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. Retrieved July 31, 2020. Four preprints were released between May 28 and July 22, 2020.
  3. ^ أ ب ت ث Bussler, Frederik (July 21, 2020). "Will GPT-3 Kill Coding?". Towards Data Science. Retrieved August 1, 2020.
  4. ^ أ ب ت ث ج ح Sagar, Ram (June 3, 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. Retrieved July 31, 2020.
  5. ^ أ ب ت Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). p. 12. Retrieved July 31, 2020.
  6. ^ أ ب Chalmers, David (July 30, 2020). Weinberg, Justin (ed.). "GPT-3 and General Intelligence". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). Retrieved August 4, 2020.
  7. ^ Hao, Karen (September 23, 2020). "OpenAI is giving Microsoft exclusive access to its GPT-3 language model". MIT Technology Review (in الإنجليزية). Retrieved 2020-09-25. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI's other models and receive its output. Only Microsoft, however, will have access to GPT-3's underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
  8. ^ أ ب "An understanding of AI's limitations is starting to sink in". The Economist. June 11, 2020. ISSN 0013-0613. Retrieved July 31, 2020.
  9. ^ قالب:Cite arxiv
  10. ^ "Natural Language Processing". Retrieved 2020-07-31.
  11. ^ أ ب Sterling, Bruce (February 13, 2020). "Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)". Wired. ISSN 1059-1028. Retrieved July 31, 2020.
  12. ^ "Language Models are Unsupervised Multitask Learners" (PDF). Retrieved December 4, 2019. GPT-2, is a 1.5B parameter Transformer {{cite journal}}: Cite journal requires |journal= (help)
  13. ^ Ray, Tiernan (June 1, 2020). "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. Retrieved July 31, 2020.
  14. ^ أ ب "OpenAI API". OpenAI. June 11, 2020.
  15. ^ "TechCrunch – Startup and Technology News". TechCrunch. June 11, 2020. Retrieved July 31, 2020. If you've ever wanted to try out OpenAI's vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on "virtually any English language task."
  16. ^ Arram (July 9, 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. Retrieved July 31, 2020.
  17. ^ Manjoo, Farhad (July 29, 2020). "How Do You Know a Human Wrote This?". The New York Times. ISSN 0362-4331. Retrieved August 4, 2020.
  18. ^ Weinberg, Justin, ed. (July 30, 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. Retrieved July 31, 2020.
  19. ^ Simonite, Tom (July 22, 2020). "Did a Person Write This Headline, or a Machine?". Wired. ISSN 1059-1028. Retrieved July 31, 2020.
  20. ^ Claypoole, Theodore (July 30, 2020). "New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel". The National Law Review. Retrieved August 4, 2020. {{cite web}}: Cite has empty unknown parameter: |1= (help)
  21. ^ Marcus, Gary (2018-12-01). "The deepest problem with deep learning". Medium (in الإنجليزية). Retrieved 2020-09-29.
  22. ^ Marcus, Gary; Davis, Ernest (August 22, 2020). "GPT-3, Bloviator: OpenAI's language generator has no idea what it's talking about". MIT Technology Review. Retrieved August 23, 2020.
  23. ^ GPT-3 (2020-09-08). "A robot wrote this entire article. Are you scared yet, human? | GPT-3". The Guardian (in الإنجليزية البريطانية). ISSN 0261-3077. Retrieved 2020-09-15.{{cite news}}: CS1 maint: numeric names: authors list (link)
  24. ^ "Pragmatic Grizzly on Twitter". Twitter.com. Retrieved 24 September 2020.

وصلات خارجية

الكلمات الدالة:
تمّ الاسترجاع من "https://www.marefa.org/w/index.php?title=GPT-3&oldid=2893924"