جوجل تتيح لهواتف Pixel 11 تحويل لغة الإشارة إلى نص
أطلقت Google نموذج DeepMind الجديد لتحويل لغة الإشارة إلى نص بالتزامن مع إطلاق عائلة Pixel 11، في خطوة تهدف إلى تسهيل التواصل أمام الأشخاص الصم وضعاف السمع.
تحويل لغة الإشارة إلى نص على Pixel 11
لطالما وفرت الهواتف الذكية إمكانية تحويل الكلام إلى نص، لكن الأمر نفسه لم يكن متاحًا للغة الإشارة، ويتغير ذلك اليوم مع إطلاق عائلة Pixel 11، التي تشهد ظهور نموذج DeepMind الجديد لتحويل لغة الإشارة إلى نص، والمعروف باسم SL2T.
وقد دمجت Google النموذج داخل Gboard وLive Transcribe، حيث سيسمح للمستخدمين الصم وضعاف السمع باستخدام لغة الإشارة مع هواتفهم في أي مكان كانوا سيكتبون فيه عادةً.
ومن الناحية العملية، سيمنح ذلك هؤلاء المستخدمين طريقة أسرع وأكثر طبيعية للبحث على الإنترنت، وكتابة الرسائل، والتحدث مع روبوت المحادثة Gemini من Google.
وقالت DeepMind: "هناك تنوع كبير بين الأشخاص الصم من حيث مستوى إتقانهم للغة الإشارة والتحدث والقراءة والكتابة، لذلك من المهم دعم الوصول بجميع الوسائل".
وأضافت الشركة أن الأشخاص الصم يمكنهم الاستفادة من معالجة لغة الإشارة بالطريقة نفسها التي يستفيد بها الأشخاص الذين يسمعون من معالجة اللغة المنطوقة، إلى جانب أن التقنية تفتح إمكانيات جديدة لسد فجوة التواصل بين مجتمعات الصم والسمع.
تدريب نموذج SL2T على أكثر من 100 ألف ساعة
دربت DeepMind نموذج SL2T على أكثر من 100 ألف ساعة من بيانات لغة الإشارة متعددة اللغات، مع تمثيل لغة الإشارة الأمريكية ASL لنحو ربع مجموعة البيانات.
ولهذا السبب، يدعم النموذج في وقت إطلاقه تحويل لغة الإشارة الأمريكية ASL إلى اللغة الإنجليزية فقط، وتخطط Google لدعم المزيد من اللغات والأجهزة في المستقبل.
كيف يعمل نموذج تحويل لغة الإشارة؟
لا يفسر SL2T الفيديو الخام مباشرة، وبدلًا من ذلك، يحول نموذج آخر يعمل على الجهاز اللقطات إلى نوع من المخطط الهيكلي للإحداثيات الهندسية، والتي يتم إرسالها إلى خوادم Google.
وتقول الشركة إن النموذج مصمم بهذه الطريقة لحماية خصوصية المستخدم.
ويختلف SL2T أيضًا عن أنظمة تحويل لغة الإشارة إلى نص السابقة، إذ يترجم المخططات الهيكلية التي يستقبلها مباشرة إلى نص، بدلًا من إنتاج مرحلة وسيطة تُعرف باسم glosses.
وتوضح DeepMind أن glosses تفشل في التقاط الجوانب الغنية وغير الخطية للغات الإشارة، مثل العلامات غير اليدوية والبنى المكانية.
وأضافت أن الترجمة مباشرة من النقاط المرجعية تزيل القيود الاصطناعية على المفردات، وتسمح لجودة الترجمة بالتوسع مباشرة مع البيانات.
Google تخطط لدعم المزيد من لغات الإشارة
رغم أن دعم لغة الإشارة الأمريكية يمثل بداية مهمة، تقر DeepMind بأن هناك المزيد من العمل الذي يتعين القيام به.
وعلى مستوى العالم، يوجد أكثر من 70 مليون شخص من الصم وضعاف السمع يتواصلون باستخدام نحو 200 لغة إشارة.
وتتمثل الأخبار الجيدة في أن الشركة لديها بداية قوية في هذا المجال، لأن نموذج SL2T تم تدريبه في الوقت نفسه على عدة لغات، حتى يتمكن من تعلم البنى الأساسية المشتركة بينها.
تابعوا آخر أخبار بوابة الوفد الإلكترونية عبر نبض
