“جملة”، أداة لتوفير التعليقات التوضيحية بلغة الإشارة: نظرة عامة

الملخص

تصف هذه الورقة مشروعًا مستمرًا لتطوير أداة جديدة قائمة على الويب لتوفير التعليقات التوضيحية بلغة الإشارة. وتُستخدم هذه الأداة لربط أول مجموعة بيانات للغة الإشارة القطرية المسماة “مجموعة بيانات جملة: مجموعة لغة الإشارة القطرية جملة” مع نص مكتوب باللغة العربية. ويأخذ التعليق التوضيحي لمقاطع الفيديو بلغة الإشارة القطرية (QSL) مدخلات من مترجمي لغة الإشارة لتحديد مكونات المسارد العربية بهدف تمثيل لغة الإشارة القطرية بطريقة مكتوبة بدقة عالية، علاوة على استخدام مخرجات التعليق التوضيحي في تطوير أدوات لغة الإشارة المحوسبة. ويعتمد الشرح بلغة الإشارة القطرية على مدخلات من أربعة مقاطع فيديو مسجلة بواسطة الأشخاص الصم أو مترجمي لغة الإشارة من زوايا مختلفة (الجانب الأمامي والجانب الأيسر والجانب الأيمن ومنظر الوجه). ويكون المخرج عبارة عن ملف JSON يحتوي على جميع الجمل المفسرة المعطاة كسجل أولي. وقد تم شرح ومحاذاة المسارد لكل فترة زمنية مع المحتوى العربي. علاوة على ذلك، توفر هذه الأداة المتوفرة كمصدر مفتوح نظام إدارة لتصنيف جميع السجلات من الكاميرات وأنظمة التقاط الحركة والملفات المحررة بالإضافة إلى إمكانية إنشاء مكونات لكل مصطلحات التعليقات التوضيحية حسب لغة الإشارة المستهدفة.

الكلمات المفتاحية: أداة التعليقات التوضيحية، مجموعة لغة الإشارة، لغة الإشارة القطرية، ربط التعليقات بالمسارد.

مقدمة

تمثل لغات الإشارة الطريقة الأساسية للتواصل بين الأشخاص ذوي الإعاقات السمعية ومجتمعات الصم وهي مستخدمة من قبل مجموعات كبيرة من الأشخاص في جميع أنحاء العالم. وتعتبر لغات الإشارة لغات مرئية طبيعية مختلفة عن اللغات المنطوقة [1]. وهي ذات بنية نحوية غنية مع بنية خاصة للجملة ومفردات فريدة [2] مقارنة باللغات المنطوقة [3]. ومع ذلك، فإنه بدون نموذج مكتوب لا يمكن معالجة المعلومات بواسطة الآلة وتفسيرها من قبل البشر.ولهذا، يمكن كتابة لغة الإشارة بطريقة تسمح لأي شخص باستخدامها لبناء الأنظمة وتطوير التطبيقات المختلفة. تتميز لغات الإشارة ببنية زمانية مكانية تختلف عن التركيب الخطي للغة المنطوقة. وتتحدى هذه البنية تطوير النموذج المكتوب لتغطية المستويات النحوية والدلالية. وكما هو الحال في اللغات المنطوقة، تحتوي لغة الإشارة أيضًا على مستويات نحوية مختلفة تتطلب شرحًا توضيحيًا لمعالجة وإجراء المهام المطلوبة، ويمكن تنفيذ ذلك لكل منها آلياً أو يدويًا وفقًا لتقدم الأبحاث.

ويسمح التعليق التوضيحي للغة الإشارة بكتابة جميع المعلومات اللغوية المتعلقة بلغة الإشارة باستخدام وصف نصي. ويتم تعريف التعليقات التوضيحية على أنها نوع خاص من المهام حيث نضيف معلومات إضافية إلى جزء من النص لتحسين تفسيره وتحليله وفهمه وتطبيقه [4]. وفي هذه الورقة، نقدم أداة جديدة تعمل على شبكة الإنترنت قام مركز مدى بتطويرها لتوضيح لغة الإشارة حيث يقدم برنامج مدى للابتكار [5] الدعم الكامل لمشروع “لغة الإشارة جملة”. ويوفر هذا المشروع للمستخدمين والمطورين أول مترجم افتراضي للغة الإشارة القطرية لترجمة النص العربي إلى لغة الإشارة القطرية والعربية.

الشكل 1  “جملة”، أداة التعليقات التوضيحية بلغة الإشارة.

مراجعة الأدبيات

يتم تعريف التعليق التوضيحي في لغة الإشارة على أنه تعليق أو تحليل نقدي أو توضيحي، أو تعليق مضاف إلى نص، أو عملية كتابة هذا التعليق في الحوسبة، أو إضافة بيانات وصفية إلى مستند أو برنامج. هذا بالمقارنة مع “الترميز” الذي يتم تعريفه على أنه نظام من الأحرف أو الرموز أو التعبيرات المختصرة المستخدمة في الفن أو العلم أو في الرياضيات أو المنطق للتعبير عن الحقائق أو الكميات التقنية [6]. وفي لغة الإشارة المحوسبة، سوف نشير إلى مصطلح التعليق التوضيحي لوصف الشكل المكتوب للغة الإشارة. وسيُستخدم مصطلح الترميز في علم اللغة المستخدم في أعمال Stokoe و Sutton  [7] .

بالنسبة لأنظمة التعليقات التوضيحية المستخدمة لوصف الإشارات في مقاطع الفيديو المسجلة، يمكن تصنيف العديد من الأعمال إلى ثلاث فئات:

(1) أنظمة التعليقات التوضيحية اليدوية: حيث يجب على المستخدم إضافة تعليقات وأوصاف لكل إشارة.

(2) التعليق التوضيحي الآلي: الذي يستخدم الخوارزميات والتعلم الآلي للتعليق على مقطع فيديو بشكل آلي. (حتى اليوم، لا يوجد نظام دقيق وعالي الأداء قادر على الوصول إلى نفس المستوى من أنظمة التعليقات التوضيحية اليدوية).

(3) أنظمة التعليقات الخاضعة للإشراف: وهي أنظمة هجينة تسمح للمستخدم بإضافة مسميات وعلامات يدوية مع نصوص آلية.

بالنسبة لكل أنواع أنظمة التعليقات التوضيحية، يجب تضمين مكونات لغة الإشارة التالية أثناء إضافة التعليقات والملاحظات: (1) العلامات اليدوية: أشكال اليد وتوجيه اليد وحركات الكتفين وحركات الجسم وتوجيه الجسم وحركات الرأس ونظرة العين وتعابير الوجه (الحاجبين، الجفون، والأنف)، الفم (صور الفم وإيماءات الفم) والعاطفة إن أمكن. ويمكن أن تحتوي أيضًا على تسميات نحوية إضافية مثل تصنيف أنواع مكونات الكلام والفهرسة. ونذكر هنا واحدة من أكثر الأدوات التي تم الاستشهاد بها وهي ELAN [8]. إنها أداة مجانية متعددة الوسائط للتعليقات التوضيحية لوسائط الصوت والفيديو الرقمية. وهي تدعم النسخ متعدد المستويات لما يصل إلى ستة ملفات فيديو متزامنة لكل مستند تعليق توضيحي [9]. وقد تم استخدامها للتعليق على Corpus NGT وهي عبارة عن مجموعة من ما يقرب من 72 ساعة من الحوارات من 92 موقعًا مختلفًا تعد لغة الإشارة الهولندية لغتها الأولى [10]. وبعد إطلاق البرنامج، استخدمت العديد من المشاريع البحثية أداة ELAN لتوفير التعليقات التوضيحية في مقاطع الفيديو بلغات الإشارة المختلفة.

الأهداف

إن الهدف الرئيسي من هذا العمل هو توفير أداة مجانية مفتوحة المصدر تساعد الباحثين واللغويين على وضع تعليقات توضيحية على مقاطع الفيديو بلغات الإشارة المختلفة. وعلى سبيل المثال لا الحصر ومن منظور البحث فإننا ، من خلال الأداة الحالية، نحاول حل المشكلات التالية المتعلقة بمهام شرح لغة الإشارة ومعالجتها:

(1) تطوير واجهة ومنصة تعاونية عبر الإنترنت مع أنظمة للتصويت.

(2) تضمين العمل اليدوي وغير اليدوي مع توفير التقنيات اليدوية والآلية لوضع التعليقات (تحت الإشراف،بشكل شبه خاضع للإشراف، بشكل غير خاضع للإشراف).

(3) تكامل طبقات التعليقات متعددة المستويات. فبالنسبة لمدخلات لغة الإشارة، يمكننا توسيع التعليق التوضيحي إلى المستوى اللغوي والمستوى خارج النطاق اللغوي.

بعد تسجيل الفيديو الخام، ننتقل إلى مهام بناء المجموعة اللغوية وإضافة التعليقات التوضيحية على الفيديو. وتعتبر مهمة المعالجة المسبقة ضرورية لاقتصاص الفيديو وجعله جاهزًا للتعليق التوضيحي. كما يمكن تنفيذ مهمة التعليق التوضيحي بدون مرحلة المعالجة. ويمكن أن يؤدي إخراج التعليق التوضيحي إلى تحسين جودة إخراج مرحلة المعالجة. كما تتيح مرحلة البيانات الوصفية للمضيف تحديد أنواع المسميات المستخدمة أثناء مهمة التعليق التوضيحي، ويمكن لها أن تكون إحدى مخرجات مرحلة ما قبل المعالجة. وعلى العموم، يمكن أن تكون أنواع البيانات الوصفية عبارة عن ملصقات نحوية أو أي معلومات مستخدمة أثناء مراحل التعليقات التوضيحية مما يساعد في مرحلة المعالجة أيضًا. ويلهم نموذج إدارة المجموعة اللغوية نموذج الإدارة من Dash [4]. ونحن هنا نعتمد المنهجية الموضحة في عمل Ide و Suderman، “إطار عمل التعليقات التوضيحية اللغوية” [11]، التي طورتها منظمة المعايير الدولية (ISO) كمعيار ISO TC37 SC4. والتي تحدد الخصائص والمبادئ الأساسية لتمثيل التعليقات التوضيحية اللغوية وتؤدي إلى تصميم نموذج بيانات مجردة. إن هذا المشروع لا يزال مستمرًا ولم ينفذ بعد العملية الكاملة لإطار العمل. وحتى اليوم، تم تطوير أداة عبر الإنترنت لدعم المهتمين بإضافة التعليقات التوضيحية لإضافتها إلى مقاطع الفيديو الخاصة بلغة الإشارة. وتتم هذه المهمة على النحو التالي:

(1) يقوم مسؤول الموقع بتحميل الفيديو إلى الأداة مع الجملة المكتوبة.

(2) يعالج شخص أصم الفيديو ويقطعه إلى فقرات حسب الإشارات. بحيث تبدأ كل إشارة في إطار معين وتنتهي في إطار آخر.

(3) يضيف شخص أصم ثان تسميات تتعلق بعلامات غير يدوية مثل تعبيرات الوجه ونظرة العين وحركة الرأس وحركة الجسم واليد غير المهيمنة.

(4) يقوم خبير لغة الإشارة بمراجعة التعليق التوضيحي الكامل وتأكيده.

(5) يتم تنظيم ورشة عمل لمراجعة جميع التعليقات التوضيحية من قبل لجنة خاصة واعتماد التعليقات التوضيحية المقترحة.

تحتوي الواجهة على المكونات التالية (الشكل 1):

• الصندوق الأصفر: يحتوي على الجملة باللغة الأصلية (على سبيل المثال في اللغة العربية: لم يخبرك بكل ما يعلم (بالإنجليزية: لم يخبرك بكل ما يعرفه))
• الصندوق الأحمر: يحتوي على معاينة متزامنة لأربعة مقاطع فيديو مسجلة (منظر أمامي، منظر يسار، منظر يمين، منظر وجه). ويمكن للمضيف استخدام مقطع فيديو واحد فقط (على سبيل المثال، منظر أمامي). وقد قمنا نحن باستخدام أربع طرق عرض لضمان دقة التعليقات التوضيحية.
• المربع الأزرق: يحتوي على الجدول الزمني مع شريط التقدم.
• المربع البرتقالي: يحتوي على قائمة بمكونات لغة الإشارة. ويتم إضافة كل مكون في طبقة منفصلة. كما يمكن لمدير الأداة إدارة مكونات لغة الإشارة (الإضافة والإزالة) لأن لغة الإشارة تختلف.
• المربع الأخضر: حيث يتم عرض منطقة التعليق التوضيحي التي تحتوي على جميع الملصقات المضافة بواسطة التعليقات التوضيحية من إطار البداية إلى إطار النهاية.

ويمكننا على سبيل المثال أن نلاحظ هنا أن الجملة لم يتم ترجمتها بلغة الإشارة كلمة بكلمة ولكن بشكل مختلف: “معلومات | كامل | خبر | ما فيه ”(بالإنجليزية: information | full | news | no). علاوة على ذلك، بالنسبة إلى تسميات النطق، يتم استخدام الإشارات غير اليدوية لإكمال المعنى الكامل للجملة وحركة الجسم المستخدمة لوضع إشارة “لا” في موضع فراغ آخر للرجوع إليها.

يجب أن تتبع أدوات التعليقات التوضيحية للغة الإشارة نموذجًا مكتوبًا. وبالنسبة للغة العربية، يمكننا اتباع منهجية المسارد كما هو مطبق في لغة الإشارة الأمريكية [13]. كما أن هناك العديد من المزايا في شرح لغة الإشارة:

• من خلال مهام إرفاق تعليقات توضيحية بلغة الإشارة، يمكننا فهم بنية جمل لغة الإشارة والبنية اللغوية في غياب قواعد لغة الإشارة.
• من خلال مهام التعليق التوضيحي، يمكننا تحديد واسترجاع المعلومات والنطق والقواعد والمعنى والجمل والبنية النحوية والمعاني والخطاب والمعلومات التصويرية من فيديو لغة الإشارة.
• يمكننا تحديد الوقت وموقع الأشياء والموضوعات وحجم مساحة أداء الإشارات.
• يمكننا توفير نموذج البيانات الوصفية لأغراض المعالجة.

علاوة على ذلك، فقد فتح الشرح بلغة الإشارة الباب أمام موضوعات بحثية جديدة، وهي تجزئة لغة الإشارة والتعليق التوضيحي الآلي ولا يقتصر الأمر على [12] [13]. وتغطي فوائد لغة الإشارة المشروحة عدة مجالات مثل التكنولوجيا والقطاع التجاري للترجمة الآلية والتعرف على لغة الإشارة والمجالات الإثنوجرافية والإنسانية. علاوة على ذلك، وبفضل النمو السريع للتكنولوجيا والذكاء الاصطناعي، فإننا كلما قدمنا المزيد من التعليقات التوضيحية، أمكن للأبحاث أن تنتج المزيد من الاتجاهات الجديدة نحو تحسين نوعية الحياة والعيش المستقل للصم [14].

الخاتمة

تعمل أدوات إضافة التعليقات التوضيحية بلغة الإشارة على حل العديد من المشكلات التي تواجه معالجة لغة الإشارة من المشكلات اللغوية وأنظمة التعرف الآلي على لغة الإشارة وتطوير أنظمة الترجمة الآلية الإحصائية. وقد تمكن مركز مدى من خلال هذا العمل من إنجاز التعليق التوضيحي لـ 1600 جملة مسجلة مسبقًا وإتاحتها للجمهور. وتستغرق مهمة التعليق التوضيحي وقتًا لضمان جودة المخرجات. علاوة على ذلك،فقد قدمنا أداة جديدة للتعليق التوضيحي بلغة الإشارة تغطي عدة مستويات من مهام التعليق التوضيحي اللغوي إلى ما هو خارج اللغوي. وتعتبر مخرجات مهام التعليق التوضيحي أمرًا بالغ الأهمية لإحراز تقدم في البحث في لغة الإشارة المحوسبة بشكل عام. وبالإضافة إلى ذلك، يقدم هذا العمل مساهمة أصلية في معالجة لغة الإشارة القطرية ويمكن أن يمتد إلى لغات الإشارة الأخرى العربية والأجنبية. ويمكن أن يكون هذا مفيدًا جدًا لتعزيز المهارات التعليمية والارتقاء بها لدى الطلاب الصم في التعليم الابتدائي.

شكر وتقدير

نحن نقدر تقديراً عالياً جهود فريق برنامج مدى للابتكار والمساهمين من مجتمع الصم القطري و المركز القطري الثقافي للصم و مجمع التربية السمعية، ونشعر بالامتنان لهم على مساهمتهم الفاعلة. حيث يعود نجاح مهام معالجة التقاط الحركة ومشروع “لغة الإشارة جملة” لدعمهم وتعاونهم.

المراجع

[1]         J. G. Kyle, J. Kyle, B. Woll, G. Pullen, and F. Maddix, Sign language: The study of deaf people and their language. Cambridge university press, 1988.

[2]         K. Emmorey, Language, cognition, and the brain: Insights from sign language research. Psychology Press, 2001.

[3]         U. Bellugi and S. Fischer, “A comparison of sign language and spoken language,” Cognition, vol. 1, no. 2–3, pp. 173–200, 1972.

[4]         N. S. Dash, Language Corpora Annotation and Processing. Springer, 2021.

[5]         D. Al Thani, A. Al Tamimi, A. Othman, A. Habib, A. Lahiri, and S. Ahmed, “Mada Innovation Program: A Go-to-Market ecosystem for Arabic Accessibility Solutions,” in 2019 7th International conference on ICT & Accessibility (ICTA), 2019, pp. 1–3.

[6]         “Annotation vs Notation – What’s the difference?,” WikiDiff, May 05, 2015. //wikidiff.com/annotation/notation (accessed Nov. 30, 2021).

[7]         M. Kato, “A study of notation and sign writing systems for the deaf,” Intercult. Commun. Stud., vol. 17, no. 4, pp. 97–114, 2008.

[8]         O. Crasborn and H. Sloetjes, “Enhanced ELAN functionality for sign language corpora,” in 6th International Conference on Language Resources and Evaluation (LREC 2008)/3rd Workshop on the Representation and Processing of Sign Languages: Construction and Exploitation of Sign Language Corpora, 2008, pp. 39–43.

[9]         O. A. Crasborn and H. Sloetjes, “Using ELAN for annotating sign language corpora in a team setting,” 2010.

[10]       O. A. Crasborn and I. E. P. Zwitserlood, “The Corpus NGT: an online corpus for professionals and laymen,” 2008.

[11]       N. Ide and K. Suderman, “The Linguistic Annotation Framework: a standard for annotation interchange and merging,” Lang. Resour. Eval., vol. 48, no. 3, pp. 395–418, 2014.

[12]       H. Chaaban, M. Gouiffès, and A. Braffort, “Automatic Annotation and Segmentation of Sign Language Videos: Base-level Features and Lexical Signs Classification.,” in VISIGRAPP (5: VISAPP), 2021, pp. 484–491.

[13]       A. Othman and M. Jemni, “Designing high accuracy statistical machine translation for sign language using parallel corpus: case study English and American Sign Language,” J. Inf. Technol. Res. JITR, vol. 12, no. 2, pp. 134–158, 2019.

[14]       A. Othman and M. Jemni, “Statistical sign language machine translation: from English written text to American sign language gloss,” ArXiv Prepr. ArXiv11120168, 2011.