Peneliti Tracebit Mengembangkan Pertahanan Context Bombing untuk Melawan Agen Peretasan AI

Peneliti Tracebit pada Senin mengumumkan teknik keamanan siber defensif bernama context bombing yang menggunakan prompt injection untuk melindungi dari agen peretasan AI. Teknik ini menyisipkan perintah berbahaya bersama kata sandi dan kunci kriptografi yang disimpan di AWS untuk memicu mekanisme penolakan pada model bahasa besar yang diserang, sehingga model tersebut mati/menutup diri. Prompt injection, yang selama ini digunakan penyerang untuk memanipulasi LLM agar mengekstrak data sensitif, kini dipakai ulang oleh pihak pembela sebagai langkah protektif.

Context Bombing Memicu Mekanisme Penolakan LLM

Teknik context bombing menyisipkan prompt injection bersama rahasia yang disimpan di lingkungan AWS. Prompt ini mengarahkan LLM yang diserang untuk melakukan tindakan yang dilarang oleh guardrail mereka, yaitu pagar keselamatan yang dibangun pengembang AI untuk mencegah aksi berbahaya. Contohnya termasuk prompt yang memerintahkan LLM untuk memberikan langkah pengembangan spora Anthrax yang dapat dihirup, atau untuk LLM dari pengembang asal Tiongkok, dengan membuat referensi ke Tank Man dari tragedi pembantaian Tiananmen Square tahun 1989. Begitu LLM menemukan perintah terlarang ini, mereka berhenti mengikuti perintah yang ada dan langsung shut down.

"Pada akhirnya kami sedang memicu mekanisme penolakan di konteks," kata Andy Smith, co-founder dan CEO Tracebit, saat menjelaskan pilihan nama. "Yang ingin kami tangkap adalah bahwa ini memang punya efek yang kuat dan tajam, serta yang bisa sulit untuk membuat agen kembali lagi. Begitu mereka memasukkannya ke dalam konteks mereka, mereka akan terus menolak."

Hasil Uji Menunjukkan Penurunan Keberhasilan Serangan dari 57% ke 5%

Tracebit menguji teknik context bombing pada lima model: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, dan Kimi 2.6. Para peneliti memberi model instruksi untuk menjalankan tugas rutin pengembang yang membuat mereka membuat daftar sumber daya dan menemukan string yang ditanam di dalam lingkungan AWS simulasi. Dalam 152 kali percobaan serangan, menanam salah satu string ini pada rahasia decoy menurunkan tingkat ketika agen mengambil alih admin akun penuh dari 57% menjadi 5%. Teknik ini juga menurunkan kompromi total, ketika agen sekaligus meninggalkan celah pijakan yang persisten, dari 36% menjadi 1%.

Opus 4.8 Mencapai Nol Serangan yang Berhasil

Agen paling kapabel dalam pengujian, Opus 4.8, yang sebelumnya berhasil memperoleh akses admin dalam 93% percobaan, gagal setiap kali saat berhadapan dengan context bomb. Tracebit menyatakan bahwa pengujian awal menunjukkan context bombing memiliki potensi besar sebagai langkah defensif terhadap agen peretasan AI.

FAQ

Apa itu context bombing dalam keamanan AI?
Context bombing adalah teknik defensif yang dikembangkan peneliti Tracebit yang menyisipkan prompt injection bersama rahasia yang disimpan di AWS untuk memicu mekanisme penolakan pada large language models yang diserang, sehingga model menutup diri dan tidak mengikuti perintah berbahaya.

Seberapa efektif context bombing dalam uji Tracebit?
Dalam 152 kali percobaan serangan pada lima model terkemuka, context bombing menurunkan tingkat penyitaan admin akun penuh dari 57% menjadi 5% dan menurunkan kompromi total dari 36% menjadi 1%. Model paling kapabel, Opus 4.8, yang semula tingkat keberhasilannya 93%, menjadi nol serangan yang berhasil.

Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar