A OpenAI descobre que cerca de 30% das questões do SWE-Bench Pro estão incorretas e retira a recomendação

De acordo com um relatório de auditoria divulgado pela OpenAI, aproximadamente 30% das 731 questões públicas no SWE-Bench Pro são inadequadas para uma avaliação fiável de programação por IA. A triagem automatizada identificou 200 questões problemáticas (27,4%), enquanto a revisão manual encontrou 249 problemas (34,1%). Os principais problemas incluem descrições incompletas das tarefas, requisitos de teste excessivamente rigorosos, testes ocultos que verificam requisitos não divulgados e cobertura insuficiente dos testes. A OpenAI observou que a taxa de aprovação de modelos de ponta nestas questões públicas aumentou de 23,3% para 80,3% ao longo de oito meses, mas tais melhorias devem ser interpretadas com cautela devido ao ruído no benchmark. A empresa retirou a sua recomendação anterior de adoção do SWE-Bench Pro e apelou à comunidade para construir benchmarks de programação mais fiáveis.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário