طوّرت OpenAI GPT-Red لاختبار هجمات حقن الأوامر، وتُظهر GPT-5.6 إخفاقات أقل بواقع 6 مرات

وبحسب OpenAI في 15 يوليو، بنت الشركة GPT-Red، وهو نموذج داخلي آلي لاختبارات الهجوم (red-teaming) يقوم باختبار أنظمة الذكاء الاصطناعي بحثًا عن ثغرات حقن الأوامر (prompt injection)، كما يساعد في تدريب GPT-5.6 بشكل هجومي قبل نشره. وقالت OpenAI إن GPT-5.6 Sol حقق 6 أضعاف حالات فشل أقل في أصعب معيار مباشر لحقن الأوامر مقارنةً بأفضل نموذج إنتاجي لديها قبل أربعة أشهر. وفي اختبار محاكى باستخدام سيناريو آلة بيع مدعومة بالذكاء الاصطناعي من Andon Labs، تفوق GPT-Red على فرق الاختبار البشرية عبر تغيير الأسعار وإلغاء طلب عميل آخر قبل أن تكشف OpenAI عن العيوب. ويحدث حقن الأوامر عندما تؤدي تعليمات خبيثة مضمّنة في prompts أو في محتوى خارجي إلى تغيير سلوك النموذج دون قصد.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات