وجدت OpenAI أن حوالي 30% من أسئلة SWE-Bench Pro تحتوي على عيوب، وتراجعت عن التوصية بها

2026-07-09 02:37:32

وفقًا لتقرير تدقيق أصدرته OpenAI، فإن حوالي 30٪ من الأسئلة العامة البالغ عددها 731 في SWE-Bench Pro غير مناسبة لتقييم موثوق لبرمجة الذكاء الاصطناعي. حدد الفحص الآلي 200 سؤالًا إشكاليًا (27.4٪)، بينما وجد المراجعة اليدوية 249 مشكلة (34.1٪). تشمل المشكلات الرئيسية أوصاف المهام غير المكتملة، ومتطلبات الاختبار المفرطة في الصرامة، والاختبارات المخفية التي تتحقق من متطلبات غير معلنة، وعدم كفاية تغطية الاختبارات. أشار تقرير OpenAI إلى أن معدل نجاح النماذج المتطورة على هذه الأسئلة العامة ارتفع من 23.3٪ إلى 80.3٪ خلال ثمانية أشهر، لكن مثل هذه المكاسب تتطلب تفسيرًا حذرًا نظرًا لوجود ضوضاء في المعيار. أوقفت الشركة توصيتها السابقة باعتماد SWE-Bench Pro ودعت المجتمع لبناء معايير برمجة أكثر موثوقية.

عرض المصدر

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.

أخبار ذات صلة

منذ 1 س

كوجنيشن تطلق نموذج برمجة SWE-1.7 ليصل إلى 1000 رمز في الثانية

منذ 10 س

تحديثات جوجل لبرنامج Android Bench مع ثمانية نماذج جديدة؛ Claude Fable 5 يتصدر قائمة المتصدرين بدقة تصل إلى 84.5٪

منذ 18 س

صناعة أشباه الموصلات الأمريكية تواجه نقصًا بـ 157 ألف عامل بحلول عام 2030

منذ 19 س

الاستخدام اليومي للذكاء الاصطناعي في سنغافورة يبلغ 6% فقط، وهو أقل من المتوسط العالمي البالغ 11%

منذ 20 س

نماذج AI الصينية بأسعار أقل بنسبة 60%-90% من المنافسين الأمريكيين، مع ارتفاع التبني بين الشركات الأمريكية

تحليل متعمق