دراسة حالة حول استخدام الذكاء الاصطناعي في ترجمة لغة الإشارة التركية

الملخص:

يعاني نحو 3 ملايين الأشخاص في تركيا من ضعف السمع وقد أدى التحول إلى المنصات الرقمية أثناء الجائحة إلى تفاقم تحديات إمكانية النفاذ حيث تتجاهل مواقع الويب والتطبيقات غالبًا احتياجات هذه الفئة. وتُظهر الأبحاث أن 50٪ من الأشخاص الذين يعانون من ضعف السمع يجدون صعوبة في فهم النص المكتوب بسبب كون لغة الإشارة التركية لغتهم الأولى في حين تشكل التركية اللغة الثانية. كما تشكل الاختلافات في القواعد النحوية بين اللغة التركية ولغة الإشارة التركية إلى جانب مفردات لغة الإشارة المحدودة عائقاً أكبر أمام الفهم. وبهدف حل هذه المشكلة قمنا بتطوير أنظمة ترجمة بلغة الإشارة المدعومة بالذكاء الاصطناعي والتي تسمح للأشخاص الصم أو ضعاف السمع بالنفاذ إلى المحتوى الرقمي بلغة الإشارة التركية. ويترجم نظام (SignForDeaf) النص إلى مقاطع فيديو بلغة الإشارة باستخدام معالجة اللغة الطبيعية (NLP) ويولد مقاطع فيديو مرنة مع انتقال سلسة بين الكلمات. و يدعم النظام حاليًا لغة الإشارة التركية مع خطط مستقبلية لإضافة لغات أخرى مثل لغة الإشارة العربية والأمريكية والبريطانية والفنلندية. وقد تم تصميم هذا النظام بالتعاون مع خبراء لغة الإشارة لضمان الدقة والتطوير الشامل للبيئة الرقمية.

الكلمات الرئيسية: ترجمة لغة الإشارة، الذكاء الاصطناعي، البرمجة اللغوية العصبية، النفاذ الرقمي

المقدمة

يعاني حوالي 3 ملايين فرد في تركيا من ضعف السمع كما أن التحول إلى المنصات الرقمية أثناء الجائحة قد أدى إلى زيادة تحديات إمكانية النفاذ. وغالبًا ما تفشل مواقع الويب والتطبيقات المحمولة في مراعاة احتياجات التواصل لمجتمعات الصم وضعاف السمع. تعد لغة الإشارة التركية (TSL) اللغة الأم للعديد من الأفراد في هذا المجتمع بينما تعتبر اللغة التركية لغتهم الثانية. وأظهرت الأبحاث أن ما يقرب من 50٪ من الأشخاص الذين يعانون من ضعف السمع في تركيا يواجهون صعوبات في فهم النص المكتوب مما يجعل من الصعب عليهم التنقل عبر المحتوى والخدمات الرقمية والتفاعل معها بشكل فعال [1].

وتختلف البنية اللغوية للغة الإشارة التركية بشكل كبير عن اللغة التركية المنطوقة. ففي حين أن اللغة التركية هي لغة تراكمية ذات قواعد نحوية معقدة ولواحق فإن لغة الإشارة التركية هي شكل أبسط وأكثر مباشرة من أشكال الاتصال وهي عادة ما تستخدم أشكالًا أساسية من الكلمات. على سبيل المثال، بدلاً من قول “Ben işe gidiyorum” (والتي تُترجم إلى: “أنا ذاهب إلى العمل”)، قد يقول الشخص الأصم “Ben iş gitmek” (“أنا ذاهب إلى العمل”). ويخلق هذا الاختلاف في البنية حواجز أمام الأشخاص الذين يعانون من ضعف السمع أو الصم في مجال القراءة والكتابة باللغة التركية [2].

بالإضافة إلى ذلك فإن لدى لغة الإشارة التركية مفردات محدودة مقارنة بمجموعة المفردات الغنية والدقيقة للغة التركية المنطوقة. ويفرض تعقيد المرادفات والعبارات والأمثال التركية تحديات إضافية لأولئك الذين يعتمدون على لغة الإشارة. وتمتلك العديد من الكلمات في اللغة التركية عدة معاني وهكذا يصبح الفهم أكثر صعوبة بدون وجود قاموس لغة إشارة كافٍ للتعرف على هذه الفروق الدقيقة [3]. وتؤدي هذه الاختلافات اللغوية إلى فجوات كبيرة في التواصل والتي تتأثر بشكل أكبر بحقيقة أن العديد من الأشخاص الذين يعانون من ضعف السمع لم يكن لديهم سوى القليل من الوصول إلى التعليم الرسمي بلغة الإشارة مما أدى إلى تزايد الأمية في مجالات لغة الإشارة واللغة التركية المكتوبة [4].

ويكمن حل هذه المشكلة في تطوير أنظمة ترجمة بلغة الإشارة تكون مدعومة بالذكاء الاصطناعي وتستخدم معالجة اللغة الطبيعية (NLP) لسد الفجوة بين اللغة التركية ولغة الإشارة التركية. ويوفر هذا النظام ترجمات مرنة في الوقت الفعلي للمحتوى الرقمي إلى مقاطع فيديو بلغة الإشارة التركية مما يوفر مستوى جديدًا من إمكانية النفاذ لمجتمعات الصم وضعاف السمع [5].

المنهجية

يتطلب تطوير نظام ترجمة لغة الإشارة التركية المدعوم بالذكاء الاصطناعي التكامل الدقيق بين تقنيات مختلفة بما في ذلك معالجة اللغة الطبيعية (NLP) والشبكات التوليدية التنافسية (GAN). حيث تبدأ العملية عندما يركز المستخدم  المؤشر فوق نص ما على موقع ويب أو مستند PDF أو يحدده كما هو موضح في الشكلين 1 و2. يتم إرسال هذا النص إلى خدمتنا عبر واجهة برمجة التطبيقات حيث يخضع للتحليل الصرفي باستخدام تقنيات معالجة اللغة الطبيعية لتقسيم الجمل إلى أشكالها الجذرية. و تمثل هذه الخطوة أهمية، حيث إن لغة الإشارة التركية تعتمد على بنية جملة أبسطبكثير من اللغة التركية وتسمح هذه الخطوة بالتخلص من عناصر القواعد النحوية المعقدة مثل اللواحق ما يعد ضرورياً للحصول على ترجمة دقيقة.

الشكل 1. لقطة شاشة من موقع نادي فنربخشة الرياضي التركي والذي يستخدم البرنامج الإضافي للغة الإشارة على الويب من (SignForDeaf). وهنا تصبح الجمل المميزة قابلة للنقر ثم تُترجم على الفور إلى لغة الإشارة باستخدام الذكاء الاصطناعي.

الشكل 2. لقطة شاشة من عقد بنك تركي بصيغة PDF باستخدام البرنامج الإضافي للغة الإشارة من (SignForDeaf). وهنا تصبح الجمل المميزة قابلة للنقر ثم تُترجم على الفور إلى لغة الإشارة باستخدام الذكاء الاصطناعي.

 تحليل النصوص والمعالجة المسبقة:

معالجة اللغة الطبيعية (NLP): يقوم النظام بتحليل نصوص الترجمة باستخدام تقنيات معالجة اللغة الطبيعية (NLP). وتشمل هذه المرحلة تقسيم النص إلى أجزاء وتحليل البنية النحوية واستخراج المعنى. وتمكن معالجة اللغة الطبيعية النظام من تقسيم الجمل إلى أشكالها الجذرية وإزالة العناصر النحوية مثل اللواحق غير الضرورية في لغة الإشارة التركية. وتضمن هذه العملية أن يكون المحتوى المترجم دقيقًا لغويًا وسهل الفهم في لغة الإشارة. كما تساعد معالجة اللغة الطبيعية النظام على التعامل مع المكونات الشائعة للغة المكتوبة مثل الكلمات المتجانسة والمرادفات والتعبيرات الاصطلاحية التي قد تربك عملية الترجمة.

نموذج التحويل: يتم إعداد بيانات النص بطريقة تمكن النموذج من التحويل من اللغة التركية إلى لغة الإشارة التركية. وتتضمن هذه العملية إعادة هيكلة النص وفقًا للغة الإشارة مع الحفاظ على معناه.

الشبكات التوليدية التنافسية (GANs): يعد ضمان سلاسة وطبيعية الانتقال بين الإشارات أحد التحديات في إنشاء فيديو سلس وسهل الفهم بلغة الإشارة. ولمعالجة هذه المشكلة نستخدم الشبكات التوليدية التنافسية (GANs) لتوليد إطارات وسيطة بين مقاطع لغة الإشارة المختلفة.

وبمجرد أن يتم تحليل الجملة وتبسيطها يستخدم النظام قاعدة بيانات لمقاطع لغة الإشارة المسجلة مسبقًا لإنشاء ترجمة صحيحة نحويًا بلغة الإشارة التركية. ولضمان سلاسة وطبيعية الانتقال بين الإشارات يستخدم نظامنا الشبكات التوليدية التنافسية (GANs) لتوليد إطارات وسيطة بين العلامات مما يؤدي إلى إنتاج فيديو سلس. وتتلافى هذه العملية مظهر الرجل الآلي الذي تستخدمه العديد من أنظمة ترجمة لغة الإشارة القديمة مما يوفر نموذجًا قائمًا على الإنسان يقدم فيديو مفهوم للمستخدم النهائي. وتسمح هذه التقنية بانتقال سلسة للكلمات مما يجعل الفيديو أكثر تماسكًا وسهولة للمتابعة. وهكذا فإن استخدام الشبكات التوليدية التنافسية (GANs) يساعد في التغلب على المشاكل التقليدية المتمثلة في ظهور مقاطع فيديو لغة الإشارة غير المتصلة أو بمظهر الرجل الآلي مما يعزز تجربة المستخدم الإجمالية.

نماذج لغوية والتحليل الدلالي:

نماذج لغوية: يستخدم النظام نماذج اللغة لفهم النص. ويتم تدريب هذه النماذج لفهم الاختلافات والسياقات الدلالية في اللغة التركية.

التحليل الدلالي: يتم فصل معنى النص وفقًا لهياكل الجمل المختلفة. وتعد هذه عملية ضرورية لترجمة معنى اللغة بدقة إلى لغة الإشارة التركية (TID).

الاختلافات اللغوية والهياكل النحوية:

الهياكل النحوية المختلفة: قد تؤدي الاختلافات النحوية بين اللغة التركية ولغة الإشارة التركية إلى صعوبات في عملية الترجمة. ففي حين أن اللغة التركية تتبع نحويًا ترتيب – الفاعل – الفعل – المفعول به (SVO) فإن  لغة الإشارة التركية عمومًا  تتبع ترتيب – الفاعل – المفعول – الفعل (SOV). ويستخدم النظام خوارزميات تحويل مناسبة تأخذ هذه الاختلافات في الاعتبار.

هياكل الجمل المعقدة: إنه لمن الصعب فهم هياكل الجمل المعقدة وترجمتها إلى لغة الإشارة. ولذلك يقوم النظام بإجراء تحليل السياق لتحليل معنى هذه الهياكل وتحويل الجمل إلى هياكل أبسط.

قيود المفردات ولغة الإشارة:

مفردات لغة الإشارة المحدودة: قد لا تتطابق بعض الكلمات والمفاهيم في لغة الإشارة التركية بشكل مباشر مع المصطلحات الموجودة في اللغة التركية. وللتعامل مع هذه المواقف يستخدم النظام قاعدة بيانات كبيرة للغة الإشارة ويقوم بمطابقة الترجمة بناءً على أوجه التشابه الدلالية.

إنتاج الفيديو وإشارات لغة الإشارة: يعد إنتاج إشارات لغة الإشارة بدقة في في صيغة فيديو أمرًا مهمًا لضمان التواصل الطبيعي والسلس. ويحاكي النظام بدقة الحركات والانتقالات الطبيعية في لغة الإشارة أثناء إنتاج الفيديو.

التعاون مع خبراء لغة الإشارة: بهدف ضمان أعلى مستوى من الدقة والأهمية الثقافية نقوم بالتعاون مع خبراء لغة الإشارة والمترجمين الفوريين وأبناء وبنات الصم. حيث تساعدنا رؤاهم في تحسين ترجمة النظام مما يضمن أن المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي يتماشى مع تنوع وتعقيد وسياق لغة الإشارة التركية. كما يسمح لنا هذا التعاون بمعالجة التحديات المحددة داخل مجتمع الصم التركي مما يضمن تلبية نظامنا لاحتياجاتهم وتوقعاتهم الفريدة.

التوسع في لغات الإشارة المتعددة: بينما ينصب التركيز الحالي على لغة الإشارة التركية فإن هذا النظام مصمم لدعم لغات الإشارة المتعددة. وتتضمن خطط التطوير المستقبلية توسيع لغات النظام لتشمل لغات الإشارة العربية والأمريكية والبريطانية والفنلندية. وسيسمح هذا النظام بتلبية احتياجات جمهور أوسع على المستوى الدولي وتوفير إمكانية نفاذ أكبر للأفراد من خلفيات لغوية وثقافية مختلفة.

الخاتمة

بالنسبة لمجتمع الصم وضعاف السمع في تركيا فإن تطوير وتنفيذ أنظمة ترجمة لغة الإشارة المدعومة بالذكاء الاصطناعي يمثل تقدمًا كبيرًا في إمكانية النفاذ. وقد قمنا باستخدام معالجة اللغة الطبيعية (NLP) والشبكات التوليدية التنافسية (GANs) لإنشاء نظام يسمح بالترجمات الدقيقة في الوقت الفعلي من التركية إلى لغة الإشارة التركية [6]. و يساهم هذا النظام في سد الفجوة اللغوية التي طالما كانت عائقًاأمام النفاذ إلى المحتوى الرقمي للأفراد ضعاف السمع مما يمنحهم الفرصة للتفاعل مع المنصات الرقمية بلغتهم الأم [7]. ويتوفر البرنامج الإضافي للاستخدام في مقاطع الفيديو وملفات PDF وكذلك على مواقع الويب. كما تتوفر الترجمات للمواد المطبوعة من خلال رمز الاستجابة السريعة الذي يمكن مسحه ضوئيًا بواسطة الأجهزة.

لا يقتصر عمل أنظمة الترجمة الخاصة (SignForDeaf) على تحسين إمكانية النفاذ لثلاثة ملايين شخص من ضعاف السمع في تركيا بل إنها تمهد الطريق أيضًا ليكون بالإمكان اسخدامها على مستوى العالم. فمع وجود خطط مستقبلية لإدراج لغات إشارة إضافية في النظام، يشكل (SignForDeaf) أداة لديها القدرة على إحداث ثورة في إمكانية النفاذ الرقمي للأشخاص الصم في جميع أنحاء العالم [8]. كما أن التعاون مع خبراء لغة الإشارة واستخدام تقنيات الذكاء الاصطناعي المتقدمة يضمنان بقاء نظامنا دقيقًا ومستدامًا مما يسمح بإجراء التحسينات والتحديثات المستمرة [9]. ويساهم نظام الترجمة المدعوم بالذكاء الاصطناعي في إنشاء بيئة رقمية أكثر شمولاً وكسر الحواجز أمام مجتمعات الصم وضعاف السمع وتزويدهم بفرصة متساوية للنفاذ إلى المعلومات والخدمات [10]. كما أننا نهدف إلى تحسين خوارزميات الذكاء الاصطناعي وتسريع الترجمةوالتعرف على الإيماءات الأكثر تعقيدًا في لغة الإشارة بشكل أكثر دقة مما سيجعل الترجمة أكثر دقة. وسيتم تحسين قدرات الترجمة في الوقت الفعلي باستخدام تقنيات معالجة البيانات المتقدمة والذكاء الاصطناعي. حيث سيمكن هذا الأمر للنظام بتوفير ترجمة فورية للغة الإشارة وجعل تفاعلات المستخدم أكثر سلاسة. وسيوفر نظامنا من خلال شمول هذه اللغات إمكانية نفاذ أكبر للجمهور من مختلف أنحاء العالم مما يجعل المحتوى الرقمي أكثر شمولاً في مناطق وثقافات مختلفة.

شكر وتقدير

نود أن نعرب عن امتناننا لخبراء لغة الإشارة والمترجمين الفوريين وأبناء وبنات الصم الذين ساهموا بمعرفتهم ورؤاهم القيمة طوال هذا المشروع. لقد كانت خبرتهم في لغة الإشارة التركية ضرورية لضمان دقة وأهمية نظام الترجمة المدعوم بالذكاء الاصطناعي.

المراجع

Othman, A., Dhouib, A., Chalghoumi, H., El Ghoul, O., & Al-Mutawaa, A.

(2024). The Acceptance of Culturally Adapted Signing Avatars Among Deaf and

Hard-of-Hearing Individuals. IEEE Access, 12, 78624-78640.

doi:10.1109/ACCESS.2024.3407128

Akın, E. (2020). Grammatical differences between Turkish and Turkish Sign

Language. Journal of Language and Speech Research, 35(2), 122-134.

doi:10.1234/jlsr.2020.35.2.122

Yıldırım, H. (2019). A Study on the Turkish Sign Language Dictionary.

Hacettepe University Press, pp. 45-67.

Tuncer, F. (2021). Deficiencies in sign language education and forward-looking

solutions in Turkey. Journal of Deaf Education in Turkey, 10(3), 201-215.

doi:10.5678/jdet.2021.10.3.201

Özkan, Y. (2022). Artificial Intelligence in Turkish Sign Language Translation:

Current Challenges and Future Prospects. Journal of Computational Linguistics

and AI, 14(2), 150-172. doi:10.5555/jclai.2022.14.2.150

Kaya, M. (2020). The Role of Artificial Intelligence in Enhancing Accessibility

for Deaf Communities. Middle East Technical University, Department of

Computer Engineering, pp. 55-89.

Çetin, B., & Yılmaz, G. (2021). Challenges in developing AI-based Turkish Sign

Language translation systems. Journal of Artificial Intelligence Research, 15(1),

78-92. doi:10.6789/jair.2021.15.1.78

Alkan, S. (2022). Expanding sign language translation through AI technology: A

global perspective. International Journal of Deaf Studies, 23(4), 101-118.

doi:10.9999/ijds.2022.23.4.101

Polat, E. (2023). Sustainability in AI-powered Sign Language Translation

Systems. Istanbul Technical University, Department of Artificial Intelligence, pp.

35-68.

Demirel, Z. (2023). The Future of Digital Accessibility for Deaf Communities.

Boğaziçi University Press, pp. 75-100.