OpenAIが公開した監査報告書によると、SWE-Bench Proの公開質問731件のうち、約30％が信頼できるAIプログラミング評価に適さないことが判明しました。自動スクリーニングでは200件の問題（27.4％）が特定され、手動レビューでは249件の問題（34.1％）が見つかりました。主な問題点は、タスクの説明不足、過度に厳しいテスト要件、未公開の要件を確認する隠しテスト、テスト範囲の不十分さです。OpenAIは、最先端モデルのこれらの公開質問に対する合格率が8か月で23.3％から80.3％に上昇したと指摘していますが、ベンチマークのノイズを考慮すると、その進展は慎重に解釈すべきだと述べています。同社は、以前推奨していたSWE-Bench Proの採用を撤回し、より信頼性の高いプログラミングベンチマークの構築をコミュニティに呼びかけています。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
