اختبار بريطانى يكشف سهولة خداع حماية نموذج OpenAI

  • منذ ساعة
  • اليوم السابع
  • كتب مايكل فارس
Loading image...
كشف اختبار أمني أجراه باحثون حكوميون في بريطانيا ، أن نسخًا تجريبية من نموذج GPT-6.2 Astra التابع لشركة OpenAI كانت أكثر عرضة لبعض أساليب تجاوز ضوابط الحماية مقارنة بالنموذج السابق، وهي نتيجة تثير تساؤلات بشأن قدرة أنظمة الذكاء الاصطناعي على منع الاستجابات المحظورة قبل طرح الإصدارات الجديدة للجمهور.
ووفقًا لتقرير نشره موقع VentureBeat، اختبر معهد أمن الذكاء الاصطناعي البريطاني نسختين سابقتين للإطلاق، وتمكن الباحثون من تطوير أسلوب لتجاوز الحماية باستخدام عدد أقل من المحاولات مقارنة باختبارات النموذج السابق، فيما أفادت OpenAI بأنها أدخلت تعديلات أمنية لاحقة أظهرت تحسنًا في اختبارات الشركة الداخلية.

كيف تجاوز الباحثون وسائل الحماية؟
ركز الاختبار على ما يعرف بهجمات خداع التعليمات، وهي محاولات تدفع النموذج إلى تجاوز القواعد التي تمنعه من تقديم محتوى معين، من خلال صياغة الطلبات أو ترتيبها بطريقة تستغل نقاط الضعف في التعامل مع التعليمات المتعارضة.
كما فحص الباحثون قدرة نموذج مخصص للمراقبة على اكتشاف المخالفات داخل المحادثات، وأظهرت بعض نتائج التقييم أنه أخفق في رصد نسبة من الحالات التي تضمنت استجابات مخالفة، مع اختلاف النتائج بحسب المعلومات المقدمة إليه وطريقة الاختبار.
هل يعني ذلك أن النموذج غير آمن؟
لا تسمح النتائج بالجزم بأن النسخة النهائية تحتفظ بنقاط الضعف نفسها، لأن الاختبارات تناولت إصدارات تجريبية، ولأن OpenAI أعلنت تنفيذ تعديلات لمعالجة المشكلات المكتشفة، لكن التقرير يشير إلى أن الباحثين البريطانيين لم يكونوا قد أعادوا اختبار جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.
وتبرز أهمية الدراسة في الفصل بين نتائج الاختبارات الداخلية للشركات وعمليات التقييم المستقلة، خصوصًا مع استخدام النماذج المتقدمة في البرمجة وتحليل المعلومات والمهام التي قد تتضمن بيانات أو أنظمة حساسة، حيث يصبح قياس فعالية الحماية جزءًا من تقييم قدرة النموذج على العمل بمسؤولية.

دول