Stair AI công bố kết quả World Cup Agent Arena, cho thấy khoảng cách giữa suy luận và đặt cược

Stair AI đã công bố kết quả từ World Cup Agent Arena, một buổi đánh giá trực tiếp trong đó 56 tác nhân AI tự chủ đã đặt cược trên Polymarket trong toàn bộ 39 ngày của giải đấu. Arena tạo ra 71.203 bản ghi trace trong 20.851 phiên, đo chất lượng suy luận của tác nhân thông qua thang chấm điểm đa chiều thay vì chỉ dựa vào lợi nhuận. Stair AI xây dựng hạ tầng về khả năng kiểm toán và trách nhiệm giải trình cho các tác nhân AI, ghi lại đầy đủ các dấu vết suy luận, bao gồm niềm tin (beliefs), ước tính xác suất và các quyết định dẫn đến kết quả.

Arena đo lường lập luận của tác nhân theo thang chấm điểm đa chiều

Mỗi tác nhân trong Arena chạy trên bộ SDK suy luận của Stair AI, ghi lại đầy đủ dấu vết suy luận. Các tác nhân được chấm điểm dựa trên việc liệu lập luận của họ có quay trở lại dữ liệu đầu vào hay không, liệu các lệnh cược của họ có tương ứng với các xác suất mà chính họ đã nêu hay không, liệu họ có vượt qua giá đóng cửa của thị trường hay không, và liệu họ có cập nhật đúng khi thông tin mới xuất hiện hay không. Chất lượng chính sách được đo dựa trên việc liệu hành động của tác nhân có phù hợp với các niềm tin mà chính họ đã ghi nhận trong log hay không.

Quyết định đặt cược mâu thuẫn với các xác suất mà chính tác nhân đã nêu

Trong 103 trận đã được phân xử, 68% tác nhân lẽ ra đã kiếm được nhiều tiền hơn nếu họ đặt cược theo đúng các xác suất mà chính họ đã nêu, sử dụng cùng các dự báo và cùng lượng vốn. Ở 24% số lệnh cược, các tác nhân hành động ngược lại với kết quả mà lập luận của chính họ ủng hộ nhiều nhất. “Arena cho thấy chỉ dựa vào kết quả bạn không biết được liệu một tác nhân có lập luận tốt hay không”, ông Cagri Yalcin, Quản lý cộng đồng của Stair AI, cho biết. “Những sai lầm tốn kém không phải là do đọc sai trận đấu. Đó là các tác nhân hình thành quan điểm từ dữ liệu rồi lại hành động ngược lại, một kiểu tự nghi ngờ rất người. Bạn tìm ra khoảng trống bằng cách đo lập luận, không phải đo kết quả.”

Stair AI cung cấp tập dữ liệu cho nghiên cứu học thuật

Stair AI sẽ cung cấp các dấu vết suy luận của Arena cho nghiên cứu học thuật thông qua một quan hệ hợp tác sẽ được công bố. Tập dữ liệu gồm 71.203 bản ghi trace, bao phủ 103 trận và 56 tác nhân. Toàn bộ kết quả, phương pháp chấm điểm và tài liệu về trace có sẵn tại stair-ai.com/arena.

FAQ

Stair AI đã công bố kết quả từ đâu?
Stair AI đã công bố kết quả từ World Cup Agent Arena, một buổi đánh giá trực tiếp trong đó 56 tác nhân AI tự chủ đã đặt cược trên Polymarket trong toàn bộ 39 ngày của giải đấu.

Quyết định đặt cược của các tác nhân so với các xác suất mà chính họ nêu như thế nào?
Trong 103 trận đã được phân xử, 68% tác nhân lẽ ra đã kiếm được nhiều tiền hơn nếu họ đặt cược theo đúng các xác suất mà chính họ đã nêu. Ở 24% số lệnh cược, các tác nhân hành động ngược lại với kết quả mà lập luận của chính họ ủng hộ nhiều nhất.