ولم تكن هذه المسائل ضمن بيانات التدريب الخاصة بالنماذج المشاركة، فيما تولّى علماء رياضيات متخصصون مراجعة الإجابات وتقييمها. ويُعد هذا الاختبار الأول من نوعه، إذ يجمع بين مسائل عالية التعقيد، وأسئلة جديدة غير مألوفة لأنظمة الذكاء الاصطناعي، إلى جانب تقييم رسمي يجريه خبراء متخصصون.
وأظهرت النتائج أن نماذج الذكاء الاصطناعي الحالية لا تزال أقل كفاءة من كبار علماء الرياضيات في التعامل مع مسائل مماثلة، كما أنها تفتقر إلى الحدس الرياضي وتظل عرضة لارتكاب الأخطاء أو ما يُعرف بـ"الهلوسة".
وأظهرت النتائج أن نماذج الذكاء الاصطناعي الحالية لا تزال أقل كفاءة من كبار علماء الرياضيات في التعامل مع مسائل مماثلة، كما أنها تفتقر إلى الحدس الرياضي وتظل عرضة لارتكاب الأخطاء أو ما يُعرف بـ"الهلوسة".
