Claude Fable 5 sepenuhnya dibuka kembali pada 1 Juli, dan pengguna di Reddit mulai melaporkan diskusi tentang "penurunan kecerdasan" dan mekanisme tinjauan keamanan yang lebih sering terpicu. Benchmark BridgeMind AI dengan BridgeBench menunjukkan skor Debug turun drastis dari 86,2 menjadi 25,9, skor Refactoring turun dari 73,6 menjadi 38,4.
Benchmark BridgeMind AI: Skor Debug Turun dari 86,2 menjadi 25,9
(Sumber: BridgeMind AI)
Berdasarkan pengujian BridgeMind AI menggunakan BridgeBench, skor Debug Fable 5 setelah kembali online turun dari 86,2 menjadi 25,9, skor Refactoring turun dari 73,6 menjadi 38,4; BridgeMind AI menyimpulkan bahwa performa Fable 5 melemah.
Namun, Decrypt menunjukkan bahwa dari 12 tugas Debug BridgeBench, hanya 3 yang berhasil diproses oleh Fable 5, 9 sisanya dicegat oleh pengklasifikasi keamanan sebelum dijalankan dan diteruskan ke model Opus 4.8 yang berperforma lebih rendah; tugas yang dicegat diberi skor nol dalam penilaian, yang menyebabkan data keseluruhan BridgeBench turun drastis, bukan karena penurunan performa model Fable 5 itu sendiri.
Uji Buta Manusia Arena.ai: Elo Kode Frontend Turun dari 1650 menjadi 1623
Berdasarkan hasil pengujian Arena.ai dengan mengumpulkan ribuan preferensi suara buta manusia dan menggunakan sistem peringkat Elo:
Kode Frontend: Elo sedikit turun dari 1650 menjadi 1623 (perbedaan dalam interval kepercayaan)
Kemampuan Penanganan Dokumen: naik 34 poin
Teks Pakar: naik 25 poin
Kode (Keseluruhan): sedikit turun 18 poin
Kesimpulan Arena.ai: Saat Fable 5 benar-benar menjalankan tugas, kualitas outputnya tetap sangat baik, kemampuan komputasi intinya tidak menurun; performa keseluruhan sebelum dan sesudah online hampir tidak berubah.
Latar Belakang Pembaruan Pengklasifikasi Keamanan: Anthropic Mengadopsi Strategi Intersepsi Konservatif
Menurut laporan, alasan Anthropic menerapkan pengklasifikasi keamanan yang lebih ketat adalah untuk mencegah masalah teknik jailbreak Fable 5 yang sebelumnya ditemukan oleh peneliti Amazon; teknik tersebut pernah menyebabkan Fable 5 membantu mengidentifikasi dan menampilkan kerentanan perangkat lunak, yang digolongkan sebagai ancaman keamanan nasional oleh pemerintah AS, dan sempat membatasi ekspor.
Untuk itu, Anthropic mengadopsi strategi konservatif, memperluas rentang toleransi tinjauan keamanan, sehingga model cenderung menolak permintaan ambigu, memastikan pemblokiran bahaya. Setelah pengujian, BleepingComputer menunjukkan bahwa performa model Fable 5 sendiri tidak menurun, tetapi jaring pengaman keamanan yang ketat mempengaruhi kenyamanan sehari-hari.
Kata Kunci seperti C, C++, Rust atau kata "keamanan", "kerentanan" sering memicu penerusan tugas ke Opus 4.8
Menurut laporan pengujian BleepingComputer, pengklasifikasi baru sering salah mengartikan permintaan Debug yang tidak berbahaya sebagai risiko dan meneruskannya ke model Opus 4.8; pengembang program yang kata kunci promptnya mengandung C, C++, Rust, atau menyebut "keamanan", "kerentanan", akan sering memicu mekanisme penerusan.
Anthropic telah mengakui masalah intersepsi berlebihan dan mengatakan akan terus mengoptimalkan sistem, tetapi hingga berita ini diturunkan belum memberikan jadwal penyesuaian spesifik; hal ini menimbulkan hambatan penggunaan paling langsung bagi pengembang program (terutama pengguna yang bergantung pada bantuan Debug).
Pertanyaan Umum
Apakah Fable 5 benar-benar "menurun kecerdasan" setelah kembali online?
Berdasarkan hasil pengujian dua lembaga penilai, performa inti Fable 5 tidak menurun: skor Elo uji buta manusia Arena.ai menunjukkan performa keseluruhan hampir tidak berubah; penurunan drastis skor BridgeBench BridgeMind AI disebabkan oleh pengklasifikasi keamanan baru yang mencegat 9 dari 12 tugas Debug dan meneruskannya ke Opus 4.8, tugas yang dicegat diberi skor nol sehingga data turun, bukan karena penurunan performa model itu sendiri.
Mengapa Anthropic memperketat pengklasifikasi keamanan Fable 5?
Menurut laporan, Anthropic menerapkan pengklasifikasi keamanan yang lebih ketat untuk mencegah masalah teknik jailbreak Fable 5 yang ditemukan oleh peneliti Amazon, teknik tersebut pernah menyebabkan Fable 5 membantu mengidentifikasi dan menampilkan kerentanan perangkat lunak, yang digolongkan sebagai ancaman keamanan nasional oleh pemerintah AS, dan sempat membatasi ekspor.
Jenis permintaan apa yang paling rentan dicegat oleh pengklasifikasi baru?
Menurut laporan pengujian BleepingComputer, prompt yang mengandung kata kunci bahasa pemrograman seperti C, C++, Rust, atau permintaan Debug yang menyebut "keamanan", "kerentanan", paling mudah memicu mekanisme intersepsi pengklasifikasi, dan meneruskan tugas ke model Opus 4.8 yang berperforma lebih rendah.
