نحو نموذج لتقييم مترجمي لغة الإشارة الافتراضيين

ملخص

يمكن أن يكون لمترجمي لغة الإشارة الافتراضيين تأثير كبير على حياة الصم من خلال إتاحة النفاذ إلى المعلومات في أي وقت وفي أي مكان. ومع التطور التكنولوجي، يمكن أن يشكل مترجمو لغة الإشارة الافتراضيون الحل الفعال من حيث التكلفة للتواصل الذي سيزيل الحواجز بين الصم والعالم. ومع ذلك، فإن معظم الباحثين ليسوا جزءًا من مجتمع الصم. حتى يومنا هذا، ليس لدى مجتمع الصم سوى القليل من المعرفة حول تكنولوجيا الشخصيات الافتراضية للترجمة إلى لغة الإشارة. وهكذا، ابتكر الباحثون واستخدموا طرق التقييم لإشراك الصم والتغذية الراجعة لتطوير وتحسين تجسيدات لغة الإشارة بناءً على احتياجاتهم ومتطلباتهم. ونقوم في هذه المقالة بعرض ومناقشة طرق وأدوات التقييم المستخدمة لتقييم وظائف مترجمي لغة الإشارة الافتراضيين ومقبوليتهم وأوجه قصورهم.

الكلمات المفتاحية: معالجة لغة الإشارة، منهجية التقييم، مترجم لغة الإشارة الافتراضي

المقدمة

إن مترجمو لغة الإشارة الافتراضيين هم شخصيات افتراضية تنتج لغة إشارة لتحسين الاتصال وإمكانية الوصول إلى المعلومات للصم. وليس الغرض من هذه الشخصيات أن تحل محل مترجمي لغة الإشارة البشريين بل أن تتكامل معهم وتدعمهم في مجالات مختلفة. على سبيل المثال، يُطلب المترجمين عندما تكون ترجمة لغة الإشارة حساسة للغاية ويجب أن تكون دقيقة قدر الإمكان، كما هو الحال في تحديد مواعيد الأطباء. وفي الوقت نفسه، يمكن لمترجمي لغة الإشارة الافتراضيين أن يخدموا غرض ترجمة نص موحد أو ترجمة المحتوى الديناميكي بشكل آلي، مثل الإعلانات والمواقع الإلكترونية [1]. وتعد القراءة والكتابة بدون إشارات سمعية مهمة صعبة بالنسبة للصم مما يتسبب في ترك العديد منهم المدرسة بمستوى منخفض من قدرات القراءة والكتابة مما يحد من نفاذهم إلى كل المحتوى المكتوب. وكان أحد الحلول التي تم تبنيها في وقت مبكر هو استخدام مترجمي لغة الإشارة المسجلين. ومع ذلك، يتطلب هذا الحل تكاليف إنتاج عالية، ولا يمكن تعديل مقاطع الفيديو المسجلة أو حتى إخفاء هويتها بعد الإنتاج. وعلى عكس استخدام الشخصيات الافتراضية لإنتاج لغة الإشارة حيث يمكن تخصيص المظهر بالكامل، ويمكن أن تكون الرسوم المتحركة ديناميكية ويمكن أيضاً تعديلها بسهولة عند الحاجة، وأن يكون لها سلوك تفاعلي، إضافة إلى أن إنتاج محتوى جديد فعال من حيث التكلفة نسبيًا [2].

غالبًا ما تواجه أي تقنية جديدة تحدي القبول لدى المستخدمين المستهدفين. وعلاوة على ذلك، فإن معظم مطوري مترجمي لغة الإشارة الافتراضيين هم باحثون يتمتعون بحاسة السمع السليمة، مما قد يجعل الأشخاص الصم يشككون في التكنولوجيا لأسباب تاريخية [2]. ويعد قبول مترجمي لغة الإشارة الافتراضيين داخل مجتمع الصم أمرًا ضروريًا للتنفيذ الناجح للتكنولوجيا. وحاولت الأعمال السابقة إشراك الصم في تطوير وتقييم مترجمي لغة الإشارة الافتراضيين ولكن لم يتم بذل جهد فعال لتوضيح القبول العام لهم. كما أنه من الضروري تحديد المشكلات التي تتسبب في رفض التكنولوجيا بهدف حلها. ولهذا الغرض استخدم الباحثون طرقًا مختلفة لتقييم احتياجات الأفراد الصم، ودمجهم في عملية التطوير واستخدام ملاحظاتهم لتقييم أداء مترجمي لغة الإشارة الافتراضيين. وتعد إمكانية فهم مترجمي لغة الإشارة الافتراضيين عاملاً هامًا يؤثر على القبول والأداء. كما أن مهمة تقييم قابلية الفهم تعد مهمة صعبة وليست يسيرة. كما أنه لا توجد منهجية موحدة لاختبار فهم لغة الإشارة الرمزية [3]. وفي مشاريع ViSiCAST / eSIGN، تم إجراء اختبارات القابلية للفهم. وأحد القيود هو أن هذه الاختبارات استخدمت في الأساس عددًا قليلاً من المشاركين [4].

في الأقسام التالية، سيتم استعراض مجموعات التركيز باعتبارها واحدة من أكثر الطرق شهرة لجمع البيانات النوعية مع أمثلة تليها مقاييس الأداء المستخدمة لتحديد أداء تجسيد لغة الإشارة. إن هذه المهمة جزء من مشروع لغة الإشارة “جملة” الذي يدعمه برنامج مدى للابتكار [5].

مجموعات التركيز

مجموعات التركيز هي أدوات معروفة تستخدم لتقييم التفاعل بين الإنسان والكمبيوتر واستخراج البيانات التجريبية في البحث والتحليل. إن الهدف من مجموعات التركيز في تقييم مترجمي لغة الإشارة الافتراضيين هو استنباط آراء وتعليقات الأشخاص الصم تجاههم في مرحلة البحث والتطوير لتحسين التكنولوجيا وتلبية احتياجات المستخدمين بشكل أفضل. ومن خلال التفاعلات والتعليقات، تسمح هذه الطريقة للباحثين والمطورين بالحصول على معلومات متعمقة من المشاركين في مجموعة التركيز حول تفضيلاتهم وكيفية ترتيب أولوياتهم وما هي القضايا التي يعتبرونها مهمة. وعادة ما تكون مجموعة التركيز عبارة عن مناقشات مركزة بين 3-10 مستخدمين نهائيين محتملين ويقودها أحد الخبراء الذي يقدم المنتج ويوجه المناقشة.

Balch et al. [6] كانوا أول من استخدم طريقة المجموعة المركزة مع الصم حيث وجدوا أن هذه الطريقة مثمرة للغاية من حيث استخراج المعلومات وفهم احتياجات ومتطلبات المشاركين. واستخدم Kipp et al  أساليب مجموعات التركيز لتقييم مقبولية وشمولية تجسيدات لغة الإشارة [2]. وقدموا بعض التوصيات لضمان جودة جلسات المجموعة المركزة: أ) استخدام المواد المرئية مثل الصور والأيقونات ومقاطع الفيديو ؛ ب) التأكد من أن البيئة صديقة للغة الإشارة ؛ ج) استخدام الأدوات التفاعلية مثل التصويت والمناقشات المفتوحة وجلسات مجموعة التركيز مع تقييمات عبر الإنترنت. كما أجرى Kipp et al [2] دراسة عبر مجموعة تركيز مع استبيان عبر الإنترنت لتقييم رأي مجتمع الصم الألماني حول تجسيدات لغة الإشارة.

لنأخذ مجموعتي تركيز من 5 و 3 مشاركين من الصم. كما هو مبين في الشكل 1، حيث جلس المشاركون في دائرة وتم تسجيل الجلسات بالفيديو لكل مجموعة لمزيد من التحليل التفصيلي. وتم تقديم عدة مترجمين افتراضيين للغة الإشارة لمجموعة التركيز، وطُلب منهم تقييمها وتقديم ملاحظاتهم حول أدائها. وقد انتقد المشاركون الصم بشكل أساسي مظهر الشخصيات الافتراضية ووصفوها بأنها غير طبيعية وروبوتية وعديمة المشاعر. وأظهرت هذه الانتقادات أن السمات غير اليدوية للشخصية الافتراضية للترجمة إلى لغة الإشارة مثل أنماط الفم وتعبيرات الوجه وحركات الجسم الطبيعية ضرورية للأشخاص الصم لقبول هذه التكنولوجيا. ولتحديد نتائج مجموعة التركيز، طُلب من المشاركين الصم التصويت على ميزة الشخصيات الافتراضية الأكثر أهمية. حيث حصلت تعبيرات الوجه على أكبر عدد من الأصوات تليها حركة الجسم الطبيعية والعواطف والمظهر وإمكانية الفهم.

الشكل 1. مجموعة تركيز من مجتمع الصم

استخدم الباحثون في جميع أنحاء العالم طريقة مجموعات التركيز لاختبار المترجمين الافتراضيين للغات الإشارة المختلفة مثل لغة الإشارة الأمريكية ولغة الإشارة السويسرية الألمانية ولغة الإشارة اليابانية ولغة الإشارة البرازيلية ولغة الإشارة التركية ولغة الإشارة البريطانية وغيرها الكثير [7] – [14]. وأثبتت تقييمات مجموعة التركيز من مجتمع الصم لهذه الشخصيات الافتراضية أنها خطوة ضرورية لإدماج المستخدم النهائي في عملية التطوير وزيادة فهمهم وقبولهم للتكنولوجيا. علاوة على ذلك، إنها أيضًا خطوة أساسية للباحثين لفهم المستخدم النهائي لأن معظم الباحثين ليسوا من مجتمع الصم وللتزود بأداة اتصال تلبي احتياجاتهم ومتطلباتهم.

مقاييس الأداء

على الرغم من أن مجموعات التركيز والاستبيانات توفر تقييمًا جيدًا للشخصيات الافتراضية الكرتونية، إلا أن عملية التطوير تتطلب مقاييس أداء مفصلة ومحددة الكمية لقياس تطور هذه الشخصيات. وتتمثل إحدى طرق دراسة مجموعة التركيز في السماح للمشاركين بقياس دقة ترجمة لغة الإشارة بشكل موضوعي. فعلى سبيل المثال، ومع واحدة من أول الشخصيات الافتراضية للترجمة بلغة الإشارة، TESSA [7]–[14]، طُلب من المجموعة توضيح ما إذا كانت عبارة لغة الإشارة التي تنتجها هذه الشخصية دقيقة وسهلة الفهم، وإذا لم يكن الأمر كذلك، فما الذي يمكن أن يكون السبب. ومن خلال هذه الطريقة البسيطة، تمكن الباحثون من تحديد متوسط دقة التعرف على العبارات بنسبة 61٪، حيث تم تحديد 70٪ من الأخطاء على أنها ناتجة عن إشارات غير واضحة.

يتطلب استخدام طرق الترجمة الآلية لترجمة لغة الإشارة وإنتاجها مقاييس أداء لتقييم عملية الترجمة بدقة. وقد استخدم San-Segundo et al [15] مقاييس تسجيل النقاط الخاصة بدراسة التقييم الثنائي اللغوي (BLEU)، والتي تحسب الفرق الإحصائي بين الترجمة الآلية والترجمة الأصلية، ومعدل أخطاء الإشارة (SER)، وهي النسبة المئوية لإنتاج الإشارات الخاطئة. ومع ذلك، تم الإبلاغ في هذه الدراسة عن أن معدل أخطاء الإشارة يبلغ 31.6 ٪ وأن التقييم الثنائي اللغوي هو 0.5780. وبالمثل، قيم Patel et al [16] أداء نظامهم في الترجمة الآلية من خلال القياس الإحصائي لدقة التعرف على الصوت والبحث النحوي وتوليف الإشارات والتي حققت في المجمل متوسط ​​دقة ترجمة بحوالي 77٪. علاوة على ذلك، استخدم الباحثون وقت المعالجة لقياس عملهم وكان عند نشر الدراسة 0.85 ثانية. وفي عمل آخر من قبل Oh et al [17]، تم استخدام ترجمة الكلمات ونسبة الكلمات المترجمة آليًا بشكل صحيح لتقييم المترجم الافتراضي الخاص بهم والمخصص للاستخدام في نشرة أحوال الطقس.

علاوة على ذلك، تم استخدام مقياس قابلية النظام للاستخدام (SUS) لتقييم قابلية استخدام أنظمة المترجمين الافتراضيين للغة الإشارة من قبل المستخدم الصم. وقد استخدم El-Gayyar et al [18] مقياس الأداء هذا مع مجموعة تركيز مكونة من 5 أشخاص صم لتقييم تطبيق مترجم افتراضي للغة للإشارة العربية ضمن مجال محدود. وأحرز التطبيق 79.8٪ درجة وفق هذا المقياس مما يشير إلى أن هذا التطبيق المطور مقبول.

ومن المهم ملاحظة أنه لتقييم نظام مترجم افتراضي للغة الإشارة، يجب إجراء اختبار شامل مع مراعاة جميع خصائص إنتاج لغة الإشارة مثل الترجمة الدقيقة والإشارات غير اليدوية والتمثيل المكاني ومظهر وطبيعة الشخصية الافتراضية باستخدام كل من الدراسات النوعية ومقاييس الأداء.

الخاتمة

يعد إنتاج لغة الإشارة من خلال الشخصيات الافتراضية مهمة صعبة بسبب الطبيعة المعقدة للغة الإشارة. كما أن تقييم مترجمي لغة الإشارة الافتراضيين ليس ضروريًا فقط لقياس تقدم التنمية ولكن أيضًا لزيادة مشاركة مجتمع الصم وقبوله لأن المترجم الافتراضي هو حل يمكن أن يجعل حياتهم اليومية أكثر سهولة وأكثر استقلالية. ولهذا السبب، يجب الجمع بين طرق التقييم التكميلية لاختبار وتقييم أداء هؤلاء المترجمين الافتراضيين وإمكانية فهمهم وتقبلهم.

المراجع

[1]         S. Ebling, “Evaluating a Swiss German Sign Language Avatar among the Deaf Community,” Proc. Third Int. Symp. Sign Lang. Transl. Avatar Technol., no. October, 2013.

[2]         M. Kipp, Q. Nguyen, A. Heloir, and S. Matthes, “Assessing the deaf user perspective on sign language avatars,” in ASSETS’11: Proceedings of the 13th International ACM SIGACCESS Conference on Computers and Accessibility, 2011, pp. 107–114. doi: 10.1145/2049536.2049557.

[3]         M. Huenerfauth, L. Zhao, E. Gu, and J. Allbeck, “Evaluation of American sign language generation by native ASL signers,” in ACM Transactions on Accessible Computing, 2008, vol. 1, no. 1. doi: 10.1145/1361203.1361206.

[4]         J. R. Kennaway, J. R. W. Glauert, and I. Zwitserlood, “Providing signed content on the Internet by synthesized animation,” ACM Trans. Comput.-Hum. Interact., vol. 14, no. 3, 2007, doi: 10.1145/1279700.1279705.

[5]         D. Al Thani, A. Al Tamimi, A. Othman, A. Habib, A. Lahiri, and S. Ahmed, “Mada Innovation Program: A Go-to-Market ecosystem for Arabic Accessibility Solutions,” in 2019 7th International conference on ICT & Accessibility (ICTA), 2019, pp. 1–3.

[6]         G. I. Balch and D. M. Mertens, “Focus group design and group dynamics: Lessons from deaf and hard of hearing participants,” Am. J. Eval., vol. 20, no. 2, 1999, doi: 10.1177/109821409902000208.

[7]         M. J. Davidson, “PAULA : A Computer-Based Sign Language Tutor for Hearing Adults,” 2006.

[8]         S. Ebling and J. Glauert, “Building a Swiss German Sign Language avatar with JASigning and evaluating it among the Deaf community,” Univers. Access Inf. Soc., vol. 15, no. 4, pp. 577–587, 2016, doi: 10.1007/s10209-015-0408-1.

[9]         I. Zwitserlood, M. Verlinden, J. Ros, and S. Van Der Schoot, “SYNTHETIC SIGNING FOR THE DEAF: eSIGN.”

[10]       T. Uchida et al., “Sign language support system for viewing sports programs,” in ASSETS 2017 – Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility, 2017, pp. 339–340. doi: 10.1145/3132525.3134768.

[11]       T. Uchida et al., “Systems for supporting deaf people in viewing sports programs by using sign language animation synthesis,” ITE Trans. Media Technol. Appl., vol. 7, no. 3, pp. 126–133, 2019, doi: 10.3169/mta.7.126.

[12]       J. R. F. Brega, I. A. Rodello, D. R. C. Dias, V. F. Martins, and M. de P. Guimarães, “A virtual reality environment to support chat rooms for hearing impaired and to teach Brazilian Sign Language (LIBRAS),” 2014.

[13]       C. Eryiğit, H. Köse, M. Kelepir, and G. Eryiğit, “Building machine-readable knowledge representations for Turkish sign language generation,” Knowl.-Based Syst., vol. 108, 2016, doi: 10.1016/j.knosys.2016.04.014.

[14]       S. Cox et al., “TESSA, a system to aid communication with deaf people,” in Annual ACM Conference on Assistive Technologies, Proceedings, 2002, pp. 205–212. doi: 10.1145/638286.638287.

[15]       R. San-Segundo et al., “Speech to sign language translation system for Spanish,” Speech Commun., vol. 50, no. 11–12, pp. 1009–1020, 2008, doi: 10.1016/j.specom.2008.02.001.

[16]       B. D. Patel, H. B. Patel, M. A. Khanvilkar, N. R. Patel, and T. Akilan, “ES2ISL: An Advancement in Speech to Sign Language Translation using 3D Avatar Animator,” in Canadian Conference on Electrical and Computer Engineering, 2020, vol. 2020-Augus. doi: 10.1109/CCECE47787.2020.9255783.

[17]       J. Oh, S. Jeon, M. Kim, H. Kwon, and I. Kim, “An avatar-based weather forecast sign language system for the hearing-impaired,” IFIP Adv. Inf. Commun. Technol., vol. 436, 2014, doi: 10.1007/978-3-662-44654-6_51.

[18]       M. M. M. M. El-Gayyar, A. S. A. S. Ibrahim, and M. E. E. Wahed, “Translation from Arabic speech to Arabic Sign Language based on cloud computing,” Egypt. Inform. J., vol. 17, no. 3, pp. 295–303, Nov. 2016.