Perplexity AI memperkenalkan WANDR (Wide ANd Deep Research), sebuah benchmark terbuka yang dirancang untuk menilai seberapa efektif sistem artificial intelligence dalam menjalankan tugas penelitian berskala besar, pada 14 Juli 2026. Kerangka kerja ini berisi 500 tugas pengumpulan data realistis yang dimodelkan pada pekerjaan pengetahuan profesional, termasuk analisis pasar, due diligence, tinjauan literatur, intelijen kompetitif, perbandingan produk, dan pencarian talenta. Benchmark ini diluncurkan untuk mengatasi tantangan bahwa sistem AI saat ini kesulitan mengidentifikasi banyak entitas yang relevan dan memverifikasi setiap hasil dengan bukti pendukung. Menurut Perplexity, bahkan model dengan performa tertinggi dalam evaluasi perusahaan meraih nilai soft F1 sebesar 0,363 dan nilai hard F1 sebesar 0,133, yang menunjukkan bahwa riset berskala luas yang berbasis bukti masih jauh dari sepenuhnya terotomatisasi. Benchmark ini mencakup lebih dari 170.000 catatan berbasis sumber di seluruh 500 tugasnya, menyediakan lingkungan pengujian berskala besar untuk agen AI yang berorientasi riset di industri yang cakupannya secara menyeluruh untuk ratusan atau ribuan catatan sangat penting bagi pekerjaan pengetahuan profesional.
Perplexity Mengevaluasi Enam Sistem Riset AI Menggunakan Benchmark WANDR
Perplexity mengevaluasi enam sistem riset AI produksi menggunakan WANDR dalam kondisi pengujian yang identik. Platform Search as Code (SaC) miliknya meraih performa keseluruhan tertinggi, dengan mencatat nilai soft F1 sebesar 0,363 dan nilai hard F1 sebesar 0,133. Anthropic berada di peringkat kedua dengan skor 0,249 dan 0,072, sementara sistem lain yang dievaluasi tidak melampaui nilai soft F1 sebesar 0,121. Studi ini juga menemukan bahwa peningkatan upaya komputasi umumnya meningkatkan performa untuk beberapa model, meski biaya yang lebih tinggi dan waktu pemrosesan yang lebih lama tidak selalu menghasilkan hasil yang lebih baik.
Berbeda dari benchmark AI tradisional yang berfokus pada menghasilkan satu jawaban atau laporan tertulis, WANDR mengukur kemampuan sistem AI untuk mengidentifikasi banyak entitas yang relevan dan memverifikasi setiap hasil dengan bukti pendukung. Benchmark ini dimaksudkan untuk mencerminkan alur kerja riset di dunia nyata, di mana keberhasilan tidak hanya bergantung pada menemukan informasi yang akurat, tetapi juga pada mencapai cakupan yang komprehensif untuk ratusan atau bahkan ribuan catatan.
WANDR Menggunakan Proses Evaluasi Tanpa Referensi untuk Validasi Riset AI
WANDR menggunakan proses evaluasi tanpa referensi yang memverifikasi setiap klaim yang diajukan terhadap bukti yang dikutip oleh sistem AI, alih-alih membandingkan hasil dengan kunci jawaban tetap. Setiap klaim diperiksa kualitas sumbernya, akurasi faktual, relevansi, serta apakah kutipan pendukung benar-benar menguatkan informasi yang disajikan. Pendekatan ini dimaksudkan untuk lebih mencerminkan riset di dunia nyata, di mana informasi dapat berubah seiring waktu dan set jawaban yang lengkap sulit untuk dipertahankan.
Benchmark ini juga menyediakan diagnostik terperinci untuk mengidentifikasi di mana sistem AI gagal selama tugas riset yang kompleks. Performa dapat diukur di beberapa tahap, termasuk penemuan informasi, pengayaan data, pencocokan identitas, validasi sumber, dan ekstraksi bukti, sehingga pengembang dapat menelusuri kelemahan di luar skor akurasi keseluruhan.
Perplexity mengatakan benchmark ini dimaksudkan untuk menjadi sumber terbuka bagi peneliti dan pengembang yang bekerja pada sistem pencarian dan riset berbasis AI. Di luar benchmarking, WANDR juga dapat mendukung teknik reinforcement learning di masa depan dengan memberikan umpan balik terstruktur pada setiap tahap proses riset, memungkinkan model AI meningkatkan tidak hanya akurasi faktual, tetapi juga perencanaan, cakupan, dan pengumpulan bukti secara berskala.
FAQ
Apa yang diluncurkan Perplexity AI pada 14 Juli 2026?
Perplexity AI meluncurkan WANDR (Wide ANd Deep Research), sebuah benchmark terbuka yang dirancang untuk mengevaluasi seberapa efektif sistem artificial intelligence menjalankan tugas penelitian berskala besar yang memerlukan penemuan informasi yang luas sekaligus pengumpulan bukti yang detail.
Bagaimana performa platform Search as Code milik Perplexity dalam evaluasi WANDR?
Platform Search as Code (SaC) milik Perplexity meraih performa keseluruhan tertinggi di antara enam sistem riset AI yang dievaluasi, dengan mencatat nilai soft F1 sebesar 0,363 dan nilai hard F1 sebesar 0,133.
Apa yang diverifikasi oleh proses evaluasi WANDR tanpa referensi?
Proses evaluasi WANDR tanpa referensi memverifikasi setiap klaim yang diajukan terhadap bukti yang dikutip oleh sistem AI, dengan memeriksa kualitas sumber, akurasi faktual, relevansi, serta apakah kutipan pendukung benar-benar menguatkan informasi yang disajikan.
