Perplexity lance le benchmark WANDR avec 500 tâches de recherche pour évaluer les capacités des agents IA

Perplexity AI a lancé WANDR (Wide ANd Deep Research), un benchmark open source publié le 15 juillet, destiné à mesurer l’efficacité des systèmes d’IA pour accomplir des tâches de recherche à grande échelle nécessitant à la fois une découverte d’informations approfondie et une vérification détaillée des preuves. Le benchmark comprend 500 tâches réalistes de collecte de données, modélisées sur un travail de recherche à caractère professionnel, incluant l’analyse de marché, la due diligence, les revues de littérature et la veille concurrentielle, appuyées par plus de 170 000 enregistrements vérifiés par des sources.

Contrairement aux benchmarks traditionnels qui évaluent une réponse unique, WANDR mesure la capacité d’un système d’IA à identifier un grand nombre d’entités pertinentes et à vérifier chaque résultat à l’aide de preuves. Lors de l’évaluation de six systèmes d’IA utilisés en production, la plateforme Search as Code de Perplexity a obtenu la meilleure performance, avec un score F1 « soft » de 0,363 et un score F1 « hard » de 0,133, suivie par Anthropic à 0,249 et 0,072, ce qui indique que la recherche approfondie, appuyée par des preuves, reste encore loin d’être entièrement automatisée.