Perplexity запускає бенчмарк WANDR із 500 дослідницькими завданнями для оцінки можливостей ШІ-агентів

Perplexity AI запустила WANDR (Wide ANd Deep Research) — відкритий бенчмарк, який 15 липня вимірює, наскільки ефективно системи ШІ виконують великомасштабні дослідницькі завдання, що потребують широкого пошуку інформації та детальної перевірки доказів. Бенчмарк містить 500 реалістичних завдань зі збору даних, змодельованих під професійну роботу зі знаннями, зокрема аналіз ринку, due diligence, огляди літератури та конкурентну розвідку, підкріплені понад 170 000 записів, підтверджених джерелами.

На відміну від традиційних бенчмарків, які оцінюють одну відповідь, WANDR вимірює здатність ШІ-системи визначати велику кількість релевантних сутностей і перевіряти кожен результат доказами, що його підтверджують. Під час оцінювання шести продуктивних AI-систем платформа Perplexity Search as Code досягла найвищої продуктивності з м’яким F1-показником 0,363 і жорстким F1-показником 0,133, далі йшла Anthropic із 0,249 та 0,072, що вказує: масштабні дослідження, підкріплені доказами, усе ще значно далі від повністю автоматизованого виконання.