إزالة الغموض حول المحول التوليدي مسبق التدريب (GPT) و (GPT-3): كيف يمكنهم دعم المبتكرين لتطوير حلول جديدة للنفاذ الرقمي والتكنولوجيا المساعدة؟

الملخص

المحول التوليدي مسبق التدريب (GPT) هو نموذج لغوي قائم على الشبكة العصبية تم تطويره بواسطة OpenAI وأظهر قدرات رائعة في إنشاء نص يشبه النصوص التي ينتجها الإنسان بالإضافة إلى أداء مجموعة واسعة من مهام معالجة اللغة الطبيعية(NLP) . ويعد (GPT-3) أحدث إصدار من هذا النموذج وهو حاليًا أكبر نموذج لغة متاح وأكثرها تقدمًا من خلال تبنيه 175 مليار معيار. ويمتلك المحول التوليدي مسبق التدريب (GPT-3) القدرة على دعم تطوير حلول إمكانية النفاذ الرقمي والتكنولوجيا المساعدة بما في ذلك تحويل النص إلى كلام وترجمة اللغات وتلخيص النص والمساعدات الافتراضية الذكية. وبالإضافة إلى قدراته كنموذج لغوي فقد تم استخدام (GPT-3) أيضًا كأداة لتوليد البيانات الاصطناعية وتدريب نماذج التعلم الآلي الأخرى. وتشمل بعض الاتجاهات المستقبلية المحتملة للمحول التوليدي مسبق التدريب زيادة الحجم والأداء وزيادة المرونة والقدرة على التكيف وتحسين القدرات للتعلم غير المراقب والاندماج في المزيد من التطبيقات والصناعات.

الكلمات المفتاحية- المحول التوليدي مسبق التدريب (GPT-3)، الذكاء الاصطناعي، إمكانية النفاذ الرقمي، معالجة اللغة الطبيعية.

المقدمة

المحول التوليدي مسبق التدريب (GPT) هو نموذج لغوي حديث تم تطويره بواسطة OpenAI. إنه نموذج قائم على الشبكة العصبية تم تدريبه على مجموعة بيانات كبيرة من النصوص التي أنتجها البشر من أجل تعلم أنماط اللغة وهيكلها. وقد أظهر هذا المحول قدرات رائعة في إنشاء نص يشبه ما ينتجه الإنسان، وقد تم استخدامه لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، بما في ذلك الترجمة وتلخيص النصوص والإجابة على الأسئلة. ومع استمرار نمو وتطور استخدام الحلول التكنولوجية الرقمية فإن هناك حاجة متزايدة للحلول التي تدعم إمكانية النفاذ والتكنولوجيا المساعدة للأشخاص ذوي الإعاقة. ويمتلك المحول التوليدي مسبق التدريب القدرة على دعم المبتكرين في مجال تطوير حلول نفاذ رقمي جديدة وتكنولوجيا مساعدة من خلال توفير منصة قوية ومرنة لمعالجة اللغة الطبيعية  (Zong & Krishnamachari, 2022, p. 3).

ويتمثل أحد الجوانب الرئيسية للمحول التوليدي مسبق التدريب والتي تجعله مفيداً بشكل خاص في تطوير حلول النفاذ الرقمي في قدرته على إنشاء نص يشبه ذلك  الذي ينتجه الإنسان. ويسمح ذلك باستخدام هذا المحول في مهام مثل تحويل النص إلى كلام والذي يمكن أن يكون أداة قيمة للصم أو ضعاف السمع. كما يمكن استخدام هذا المحول لإنشاء نص وصفي للصور ومقاطع الفيديو الأمر الذي يمكن أن يكون مفيدًا للأشخاص ذوي الإعاقة البصرية. وبالإضافة إلى إمكانيات إنشاء النصوص، يمكن أيضًا استخدام المحول التوليدي مسبق التدريب لدعم تطوير حلول التكنولوجيا المساعدة التي تعتمد على معالجة اللغة الطبيعية. على سبيل المثال، يمكن استخدام هذا المحول  لبناء مساعدين افتراضيين أذكياء يمكنهم فهم احتياجات وطلبات الأشخاص ذوي الإعاقة والاستجابة لها. ويمكن دمج هؤلاء المساعدين في مجموعة متنوعة من الأجهزة والأنظمة الأساسية مثل الهواتف الذكية وأنظمة المنزل الذكي والحلول التكنولوجية القابلة للارتداء.

تاريخ المحول التوليدي مسبق التدريب (GPT)

يعود تاريخ المحولات التوليدي مسبقة التدريب إلى أوائل عام 2010، عندما كان مجال معالجة اللغة الطبيعية (NLP) يمر بتحول كبير نحو استخدام أساليب التعلم العميق. وفي هذا الوقت، بدأ الباحثون في OpenAI في تطوير سلسلة من النماذج اللغوية بناءً على بنية المحول التوليدي (Transformer)، والتي تم تقديمها في ورقة نُشرت في عام 2017.

وقد تم إصدار النسخة الأولى من المحول التوليدي مسبق التدريب (GPT-1) في عام 2018 وتم تدريبه على مجموعة بيانات من 8 ملايين صفحة ويب. وقد نال اهتماماً ملحوظاً لقدرته على إنشاء نص يشبه النصوص  التي ينتجها الإنسان وأداء مجموعة متنوعة من مهام معالجة اللغة الطبيعية بما في ذلك الترجمة وتلخيص النصوص. ومع ذلك، فقد كان ذا نطاق محدود ولم يكن قادرًا على أداء بعض المهام التي تؤديها نماذج أكثر تخصصًا.

وفي عام 2019، أصدرت شركة OpenAI  النسخة الثانية  (GPT-2) وهو إصدار أكبر بكثير وأكثر قوة من الأول مع 1.5 مليار معيار. وتم تدريبه على مجموعة بيانات من 8 ملايين صفحة ويب وتمكن من إنشاء نص متناسق لغوياً. كما كان قادرًا على أداء مجموعة متنوعة من مهام معالجة اللغة الطبيعية، بما في ذلك الإجابة على الأسئلة والترجمة وكان قادرًا على التفوق في الأداء على النماذج الأخرى في بعض المعايير.

في عام 2021، أطلقت OpenAI النسخة الأخيرة من المحول التوليدي مسبق التدريب (GPT-3) والذي يحتوي على 175 مليار معيار وتم تدريبه على مجموعة بيانات من مليارات صفحات الويب. وقد أظهرت هذه النسخة  إمكانات رائعة في إنشاء نص يشبه ذلك الذي ينتجه الإنسان وأداء مجموعة واسعة من مهام معالجة اللغة الطبيعية وحظي باهتمام واسع النطاق واشادة في مجتمع البحث (Dale, 2021, p.3).

يستمر المحول التوليدي مسبق التدريب منذ انطلاقه في التطور والتحسن عبر النسخ الجديدة التي يتم إصدارها بشكل دوري. ومع استمرار تقدم مجال معالجة اللغة الطبيعية وتزايد الطلب على قدرات معالجة اللغة الطبيعية فإنه من المرجح أن يظل المحول التوليدي مسبق التدريب لاعباً رئيسياً في تطوير نماذج اللغة وتكنولوجيا معالجة اللغة الطبيعية.

المحول التوليدي مسبق التدريب (GPT3)

إن المحول التوليدي مسبق التدريب (GPT3) هو أحدث إصدار من النموذج اللغوي (GPT) الذي طورته شركة OpenAI. ويعد حاليًا أكبر نموذج لغوي متاح وأكثرها تقدمًا مع 175 مليار معيار. وقد تمت الإشادة به على نطاق واسع لقدرته على إنشاء نص متناسق لغوياً. وتتمثل إحدى الميزات الرئيسية لهذا المحول (GPT3) في قدرته على أداء مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP) دون أي ضبط إضافي. وقد أصبح هذا ممكنًا من خلال النطاق الهائل للنموذج وحقيقة أنه تم تدريبه على مجموعة بيانات من مليارات صفحات الويب. ونتيجة لذلك، فإنه قادر على فهم وإنشاء نص مشابه في الأسلوب والمحتوى للنص الذي تم التدرب عليه. كما أظهر (GPT3) أداءً رائعًا في مجموعة متنوعة من مهام معالجة اللغة الطبيعية، بما في ذلك الترجمة وتلخيص النصوص والإجابة على الأسئلة. كما تم استخدامه في مهام مثل الترجمة وتحويل النص إلى كلام، وتم دمجه في عدد من التطبيقات التجارية بما في ذلك روبوتات المحادثة والمساعدات الافتراضية. وإلى جانب قدراته كنموذج لغوي، تم استخدام (GPT3) أيضًا كأداة لتوليد البيانات الاصطناعية وتدريب نماذج التعلم الآلي الأخرى. وقد أدى ذلك إلى تطوير عدد من التطبيقات والأدوات التي تعتمد على (GPT3)، بما في ذلك أدوات زيادة البيانات وإنشاء كود للبرمجة والضبط الدقيق لنموذج التعلم الآلي (Floridi & Chiriatti, 2020, p. 3).

أمثلة على التطبيقات التي تستخدم المحول التوليدي مسبق التدريب (GPT3)

يحتوي المحول التوليدي مسبق التدريب (GPT3) على مجموعة واسعة من التطبيقات. وتتضمن بعض الأمثلة على التطبيقات التي تستخدمه:

• تحويل النص إلى كلام: يمكن استخدام (GPT3) لتوليد كلام يشبه كلام الإنسان من النصوص ما يجعله أداة قيمة للصم أو ضعاف السمع. كما يمكن استخدامه أيضًا لتحسين جودة أنظمة تحويل النص إلى كلام بشكل عام (Zheng et al., 2021).
• الترجمة: يمكن استخدام (GPT3) لترجمة النص من لغة إلى أخرى وهو ما يمكن أن يكون مفيدًا في مجموعة متنوعة من التطبيقات بما في ذلك تعلم اللغة وترجمة المحتوى وترجمة المستندات (J. Yang et al., 2020).
• تلخيص النصوص: يمكن استخدام (GPT3) لتلخيص أجزاء طويلة من النص تلقائيًا، الأمرالذي يمكن أن يكون مفيداً في مجموعة متنوعة من التطبيقات بما في ذلك مجمعات الأخبار وتنظيم المحتوى وإدارة المعلومات (Nikolich & Puchkova, 2021).
• الإجابة على الأسئلة: يمكن استخدام (GPT3) لبناء مساعدين افتراضيين أذكياء قادرين على فهم الأسئلة والطلبات والرد عليها بلغة طبيعية. ويمكن دمج هؤلاء المساعدين في مجموعة متنوعة من الأجهزة والأنظمة الأساسية مثل الهواتف الذكية وأنظمة المنزل الذكي والحلول التكنولوجية القابلة للارتداء (Z. Yang et al., 2022).
• إنشاء أكواد البرمجة: تم استخدام (GPT3) لإنشاء كود اصطناعي الأمرالذي يمكن أن يكون مفيدًا لمهام مثل إكمال أكواد البرمجة وتصحيح نمط الكود واختبار الكود (Paik & Wang, 2021, p. 2) (Khan & Uddin, 2022, p. 3).
• زيادة البيانات: تم استخدام (GPT3) لإنشاء بيانات تركيبية يمكن استخدامها لزيادة وتحسين أداء نماذج التعلم الآلي (Kumar et al., 2021).

المحول التوليدي مسبق التدريب (GPT3) وحلول التكنولوجيا المساعدة والنفاذ الرقمي

تم تصميم التكنولوجيا المساعدة لدعم الأفراد ذوي الإعاقة في أداء المهام والأنشطة التي قد تكون صعبة أو مستحيلة. ويمتلك (GPT3) القدرة على أن يكون أداة قيمة لتطوير حلول التكنولوجيا المساعدة. ومن بعض الطرق التي يمكن من خلالها استخدام (GPT3) لفائدة التكنولوجيا المساعدة ما يلي:

• تحويل النص إلى كلام: يمكن استخدام (GPT3) لتوليد كلام يشبه كلام الإنسان من النصوص ما يجعله أداة قيمة للصم أو ضعاف السمع. كما يمكن استخدامه أيضًا لتحسين جودة أنظمة تحويل النص إلى كلام بشكل عام
• ترجمة اللغة: يمكن استخدام (GPT3) لترجمة النصوص من لغة إلى أخرى، وهو ما يمكن أن يكون مفيدًا في مجموعة متنوعة من حلول التكنولوجيا المساعدة بما في ذلك أدوات تعلم اللغة وأجهزة الترجمة.
• تلخيص النصوص: يمكن استخدام (GPT3) لتلخيص الأجزاء الطويلة من النص تلقائيًا، الأمر الذي يمكن أن يكون مفيداً في مجموعة متنوعة من حلول التكنولوجيا المساعدة بما في ذلك أنظمة تحويل النص إلى كلام وأدوات إدارة المعلومات.
• الإجابة على الأسئلة: يمكن استخدام (GPT3) لبناء مساعدين افتراضيين أذكياء قادرين على فهم الأسئلة والطلبات والرد عليها بلغة طبيعية. ويمكن دمج هؤلاء المساعدين في مجموعة متنوعة من الأجهزة والأنظمة الأساسية مثل الهواتف الذكية وأنظمة المنزل الذكي والحلول التكنولوجية القابلة للارتداء.
• توليد النص الوصفي: يمكن استخدام (GPT3) لإنشاء نص وصفي للصور ومقاطع الفيديو، وهو ما يمكن أن يكون مفيداً في حلول التكنولوجيا المساعدة التي تدعم الاشخاص ذوي الإعاقات البصرية.

يمتلك المحول التوليدي مسبق التدريب (GPT3) بشكل عام  القدرة على أن يكون أداة قيمة لتطوير حلول التكنولوجيا المساعدة حيث يمكنه توفير منصة قوية ومرنة لمعالجة اللغة الطبيعية. ومع استمرار تطور وتحسن (GPT3)، فمن المحتمل أن يكون له تأثيرات أكثر أهمية وواسعة النطاق على تطوير حلول التكنولوجيا المساعدة في المستقبل.

الخاتمة والتوجهات المستقبلية

يعد المحول التوليدي مسبق التدريب بشكل عام أداة قوية ومتعددة الاستخدامات لديها القدرة على دعم تطوير حلول النفاذ الرقمية المبتكرة والتكنولوجيا المساعدة. إن قدرته على إنشاء نص يشبه النص الذي ينتجه الإنسان وأداء مهام معالجة اللغة الطبيعية تجعل منه رصيدًا قيمًا للمبتكرين العاملين في هذا المجال. ومع استمرار تطور المحول التوليدي مسبق التدريب، يمكننا أن نتوقع رؤية تطبيقات أكثر إثارة وتأثيرًا لهذه التكنولوجيا في المستقبل. وتتضمن بعض الاتجاهات المستقبلية المحتملة للمحول التوليدي مسبق التدريب ما يلي:

• زيادة النطاق والأداء: مع استمرار زيادة القدرة الحسابية وتوافر البيانات، من المحتمل أن يستمر المحول التوليدي مسبق التدريب في التطور بشكل كبير مع إمكانية تحقيق مستويات أعلى من الأداء في مهام معالجة اللغة الطبيعية.
• قدر أكبر من المرونة والقدرة على التكيف: يتم تدريب المحول التوليدي مسبق التدريب حاليًا على مجموعة بيانات كبيرة من النصوص التي تم إنشاؤها بواسطة الإنسان، مما يعني أنه قادر على إنشاء نص مشابه في الأسلوب والمحتوى للنص الذي تم التدريب عليه. ومن الممكن في المستقبل أن يتم تكييف المحول التوليدي مسبق التدريب لإنشاء نص في مجموعة متنوعة من الأنماط ولأغراض مختلفة مثل إنشاء كود برمجي أو إنشاء محتوى لمجالات أو صناعات محددة.
• قدرات محسّنة للتعلم غير المراقب: يتم تدريب المحول التوليدي مسبق التدريب حاليًا باستخدام التعلم غير المراقب، مما يعني أنه لا يتم منحه تسميات أو فئات صريحة للتنبؤ بها، بل يتم تغذيته بقدر كبير من النص ويترك ليتعلم من تلقاء نفسه. ومن الممكن في المستقبل تكييف المحول التوليدي مسبق التدريب ليقدم أداء أفضل في مهام التعلم غير المراقب مثل إنشاء نص متناسق لغوياً دون الحاجة إلى كميات كبيرة من بيانات التدريب.
• الاندماج في المزيد من التطبيقات والصناعات: تم بالفعل دمج المحول التوليدي مسبق التدريب في عدد من التطبيقات والصناعات بما في ذلك روبوتات المحادثة والمساعدين الافتراضيين والضبط الدقيق لنموذج التعلم الآلي. ومن المحتمل أن يتم دمج المحول التوليدي مسبق التدريب مستقبلاً في المزيد من التطبيقات والصناعات حيث يستمر الطلب على قدرات معالجة اللغة الطبيعية في النمو.

بشكل عام، من المرجح أن يكون مستقبل المحول التوليدي مسبق التدريب مثيرًا ومؤثرًا، حيث تستمر هذه التكنولوجيا في التطور والتحسن.