Perplexity ra mắt benchmark WANDR với 500 nhiệm vụ nghiên cứu để đánh giá năng lực của các tác nhân AI

Perplexity AI đã ra mắt WANDR (Wide ANd Deep Research), một bộ chuẩn mở nguồn, vào ngày 15 tháng 7 nhằm đo mức độ hiệu quả của các hệ thống AI trong việc thực hiện các tác vụ nghiên cứu quy mô lớn đòi hỏi phát hiện thông tin trên diện rộng và xác minh bằng chứng chi tiết. Bộ chuẩn gồm 500 tác vụ thu thập dữ liệu thực tế được mô phỏng theo công việc tri thức chuyên nghiệp, bao gồm phân tích thị trường, thẩm định (due diligence), tổng quan tài liệu và tình báo cạnh tranh, được hậu thuẫn bởi hơn 170.000 bản ghi đã được xác minh nguồn.

Không giống các bộ chuẩn truyền thống chỉ đánh giá một đáp án duy nhất, WANDR đo khả năng của hệ thống AI trong việc nhận diện một lượng lớn các thực thể liên quan và xác minh từng kết quả bằng bằng chứng hỗ trợ. Trong đánh giá 6 hệ thống AI sản xuất, nền tảng Search as Code của Perplexity đạt hiệu năng cao nhất với soft F1 là 0,363 và hard F1 là 0,133, tiếp theo là Anthropic với 0,249 và 0,072, cho thấy nghiên cứu trên quy mô rộng có gắn bằng chứng vẫn còn rất xa so với mức tự động hóa hoàn toàn.