OpenAI đã xây dựng GPT-Red để thử nghiệm các cuộc tấn công chèn lệnh nhắc (prompt injection). GPT-5.6 cho thấy ít lỗi hơn 6 lần.

Theo OpenAI vào ngày 15 tháng 7, công ty đã xây dựng GPT-Red, một mô hình red-teaming tự động nội bộ dùng để kiểm thử các hệ thống AI về lỗ hổng prompt injection và hỗ trợ huấn luyện đối kháng cho GPT-5,6 trước khi triển khai. OpenAI cho biết GPT-5,6 Sol đạt ít hơn 6 lần lỗi trên bộ benchmark prompt-injection trực tiếp khó nhất của họ so với mô hình sản xuất tốt nhất trước đó từ 4 tháng trước. Trong một bài thử nghiệm mô phỏng dựa trên kịch bản máy bán hàng AI từ Andon Labs, GPT-Red đã vượt trội các nhóm red-team do con người thực hiện bằng cách thay đổi giá và hủy đơn hàng của một khách hàng khác trước khi OpenAI công bố các lỗ hổng. Prompt injection xảy ra khi các chỉ dẫn độc hại được nhúng trong prompt hoặc nội dung bên ngoài làm thay đổi hành vi của mô hình một cách vô tình.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận