Perplexity запускает бенчмарк WANDR с 500 исследовательскими задачами для оценки возможностей ИИ-агентов

Perplexity AI запустила WANDR (Wide ANd Deep Research) — открытый бенчмарк, выпущенный 15 июля, чтобы измерить, насколько эффективно ИИ-системы справляются с крупномасштабными исследовательскими задачами, требующими широкого поиска информации и детальной проверки доказательств. Бенчмарк включает 500 реалистичных задач по сбору данных, смоделированных под профессиональную аналитическую работу, включая анализ рынка, due diligence, обзоры литературы и конкурентную разведку, подкреплённых более чем 170 000 источников с верифицированными данными.

В отличие от традиционных бенчмарков, оценивающих один ответ, WANDR измеряет способность ИИ-системы выявлять большое число релевантных сущностей и проверять каждый результат с помощью подтверждающих доказательств. При оценке шести производственных ИИ-систем платформа Perplexity Search as Code показала наивысшую производительность: мягкий F1 score — 0,363, жёсткий F1 score — 0,133; далее шла Anthropic с 0,249 и 0,072 соответственно, что указывает: широкомасштабные исследования, подкреплённые доказательствами, по-прежнему далёки от полной автоматизации.