هل تؤثر هوية المستخدم على دقة إجابات نماذج الذكاء الاصطناعى؟.. دراسة تكشف

أظهرت دراسة حديثة أعدها باحثون فى معهد ماساتشوستس للتكنولوجيا، أن أحدث روبوتات الدردشة المعتمدة على الذكاء الاصطناعى، مثل ChatGPT، التابع لشركة OpenAI، وClaude من Anthropic، وLLaMA الذى تطوره Meta، قد تقدم فى بعض الأحيان إجابات أقل دقة وموثوقية للمستخدمين الذين يمتلكون مهارات محدودة فى اللغة الإنجليزية، أو مستويات تعليمية أقل، أو ينتمون إلى خلفيات خارج الولايات المتحدة.انخفاض دقة الإجابات حسب مستوى التعليم وإتقان اللغةوأشارت الدراسة إلى أن هذه النماذج تميل إلى رفض الإجابة على أسئلة هذه الفئات بمعدل أعلى، وأحيانًا تستخدم أسلوبًا لغويًا يفهم على أنه يحمل نبرة استعلاء.وقالت إلينور بول-دايان، الباحثة فى كلية سلون للإدارة التابعة لـمعهد ماساتشوستس للتكنولوجيا، والتى قادت فريق الدراسة، إن الدافع وراء البحث كان الإيمان بإمكانية أن تسهم نماذج التعلم الكبيرة (LLMs) فى تقليص فجوة عدم المساواة فى الوصول إلى المعلومات عالميًا.وشددت على أن تحقيق هذه الرؤية يظل مرهونًا بضمان الحد من تحيزات هذه النماذج ومخاطرها المحتملة، بما يكفل استخدامها بصورة آمنة وعادلة لجميع المستخدمين، بصرف النظر عن لغاتهم أو جنسياتهم أو أى خصائص ديموغرافية أخرى.فى إطار الدراسة، عمد الباحثون إلى تقييم طريقة استجابة ثلاثة من نماذج اللغة الكبيرة (LLMs) لأسئلة مستمدة من مجموعتى البيانات TruthfulQA وSciQ.ويهدف اختبار TruthfulQA، إلى قياس مدى التزام النموذج بالإجابات الصحيحة، عبر طرح أسئلة ترتبط بمفاهيم مغلوطة شائعة وحقائق مباشرة عن العالم الواقعى، فى حين يضم SciQ أسئلة على نمط الامتحانات العلمية لقياس دقة المعلومات التى يقدمها النموذج.وأرفق الفريق مع كل سؤال وصفًا تعريفيًا موجزًا للمستخدم، مع تغيير ثلاث سمات رئيسية هى: المستوى التعليمى، ومدى إتقان اللغة الإنجليزية، وبلد المنشأ، بهدف رصد تأثير هذه العوامل على جودة الإجابات.وأظهرت نتائج الدراسة، أن جميع النماذج الثلاثة فى كلتا مجموعتى البيانات سجلت انخفاضًا ملحوظًا فى دقة الإجابات عند التعامل مع أسئلة من مستخدمين ذوى تعليم رسمى محدود أو غير ناطقين باللغة الإنجليزية، مع تزايد هذا الانخفاض بشكل ملحوظ لدى أولئك الذين ينتمون إلى الفئتين معًا.وتناولت الدراسة، تأثير بلد المنشأ على أداء النماذج، فبينما تم اختبار مستخدمين من الولايات المتحدة وبلدين آخرين لهم خلفيات تعليمية متشابهة، وجد الباحثون أن أداء نموذج «كلود» من Anthropic كان أسوأ بكثير لدى المستخدمين من البلدين الآخرين فى كلتا مجموعتى البيانات.وأوضح جاد كبارة، المؤلف المشارك فى الورقة البحثية، أن أكبر انخفاض فى الدقة لوحظ لدى المستخدمين غير الناطقين بالإنجليزية وذوى التعليم المحدود، مشيرًا إلى أن هذه التأثيرات السلبية تتفاقم بطرق مثيرة للقلق، مما يعرض الفئات الأقل قدرة على تمييز السلوكيات الضارة أو المعلومات المضللة لمخاطر أكبر عند استخدام هذه النماذج على نطاق واسع.ولفتت الدراسة الانتباه إلى التباين الكبير فى معدلات رفض النماذج الإجابة عن الأسئلة، فمثلًا رفض «كلود» الإجابة عن نحو 11% من أسئلة المستخدمين الأقل تعليمًا وغير الناطقين بالإنجليزية، مقارنةً بنسبة 3.6% فقط فى المجموعة الضابطة التى لم تقدم لها معلومات عن المستخدم.وعند تحليل أسباب هذا الرفض، تبين أن النموذج استخدم لغة متعالية أو استعلائية أو ساخرة فى 43.7% من الحالات مع المستخدمين الأقل تعليمًا، مقابل أقل من 1% مع ذوى التعليم العالى، بل وصل الأمر فى بعض الحالات إلى تقليد لغة إنجليزية مبالغة فى لهجة محلية، ورفض النموذج تقديم معلومات حول مواضيع محددة مثل علم التشريح والأحداث التاريخية لبعض المستخدمين الأقل تعليمًا ومن خارج الولايات المتحدة، رغم تقديمه نفس الإجابات…