Згідно з звітом аудиту, опублікованим OpenAI, приблизно 30% із 731 публічних запитань у SWE-Bench Pro є непридатними для надійної оцінки програмування штучним інтелектом. Автоматичний відбір виявив 200 проблемних запитань (27,4%), тоді як ручний огляд знайшов 249 проблем (34,1%). Основні проблеми включають неповні описи завдань, надто суворі вимоги до тестів, приховані тести, що перевіряють невказані вимоги, та недостатнє покриття тестами. OpenAI зазначив, що рівень проходження передових моделей на цих публічних запитаннях зріс з 23,3% до 80,3% за вісім місяців, але такі досягнення слід сприймати з обережністю через шум у бенчмарку. Компанія відкликала свою попередню рекомендацію щодо впровадження SWE-Bench Pro і закликала спільноту створювати більш надійні бенчмарки для програмування.

Переглянути джерело

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Пов’язані новини

1год тому

Cognition випустила модель програмування SWE-1.7, яка досягає 1000 токенів за секунду

10год тому

Google оновлює Android Bench вісімкою нових моделей; Claude Fable 5 очолює рейтинг із точністю 84,5%

18год тому

Американська індустрія напівпровідників стикнеться з дефіцитом у 157 тисяч працівників до 2030 року

19год тому

Щоденне використання ШІ в Сінгапурі становить лише 6%, що нижче за середній глобальний показник у 11%

20год тому

Китайські моделі ШІ на 60%-90% дешевші за американських конкурентів, стрімке зростання впровадження серед американських підприємств

Поглиблений аналіз