Perplexity 推出 WANDR 基準測試,包含 500 個研究任務,用以評估 AI Agent 的能力

Perplexity AI 於 7 月 15 日推出 WANDR(Wide ANd Deep Research),這是一個開源基準,用來衡量 AI 系統在執行大規模研究任務時的有效性。此類任務需要廣泛的資訊發現,並對詳細證據進行驗證。該基準包含 500 個以專業知識工作為模型的逼真資料蒐集任務,涵蓋市場分析、盡職調查、文獻回顧與競爭情報,並由超過 170,000 筆「來源已驗證」的紀錄支援。

不同於評估單一答案的傳統基準,WANDR 衡量的是 AI 系統辨識大量相關實體的能力,並能以支援證據逐一驗證每個結果。在對 6 個量產 AI 系統進行評估時,Perplexity 的 Search as Code 平台以軟性 F1 分數 0.363 與硬性 F1 分數 0.133 表現最佳,其次為 Anthropic,分別為 0.249 與 0.072;這顯示以大規模且具證據佐證的研究,仍遠未完全實現自動化。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆