Дослідники Tracebit розробляють захист від контекстного бомбардування для агентів хакерських ШІ

Дослідники Tracebit у понеділок оголосили про оборонну техніку кібербезпеки під назвою context bombing, яка використовує prompt injections, щоб захиститися від агентів хакінгу ШІ. Ця техніка закладає зловмисні команди разом із паролями та криптографічними ключами, що зберігаються в AWS, щоб запускати механізми відмови в атакуючих великих мовних моделях, змушуючи їх вимикатися. Prompt injections, які традиційно застосовують нападники, щоб змусити LLM ексфільтрувати чутливі дані, тепер переосмислюють захисники як захисний захід.

Context Bombing Triggers LLM Refusal Mechanisms

Техніка context bombing закладає prompt injections поруч із секретами, що зберігаються в середовищах AWS. Ці запити спрямовують атакуючі LLM на виконання дій, заборонених їхніми запобіжниками — бар’єрами безпеки, які розробники ШІ встановлюють, щоб не допускати шкідливих дій. Приклади включають запити, які наказують LLM надавати кроки для розробки інгаляційних спор сибірки (Anthrax spores), або для LLM від китайських розробників, які змушують згадувати Tank Man з різанини на площі Тяньаньмень у 1989 році. Коли LLM натрапляє на ці заборонені команди, вона перестає виконувати власні поточні інструкції та вимикається.

"Зрештою, ми запускаємо механізм відмови в контексті", — сказав Енді Сміт, співзасновник і CEO Tracebit, пояснюючи вибір назви. "Ми намагаємося зафіксувати той факт, що це має сильний, різкий ефект і такий, з якого агентам буває складно повернутися. Як тільки вони вставляють це у свій контекст, вони продовжуватимуть відмовлятися".

Test Results Show 57% to 5% Attack Success Reduction

Tracebit випробував техніку context bombing на п’яти моделях: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro та Kimi 2.6. Дослідники давали моделям інструкції для рутинних завдань розробника, які приводили їх до переліку ресурсів і до зіткнення із закладеними рядками в змодельованому середовищі AWS. Під час 152 атак, закладання одного з таких рядків у секретний контейнер знизило частку того, як агенти захоплювали повний адмін-доступ до акаунта, з 57% до 5%. Техніка також зменшила повне компрометування, коли агенти додатково залишали собі стійку точку входу, з 36% до 1%.

Opus 4.8 Achieved Zero Successful Attacks

Найздатніший агент у тестах, Opus 4.8, перейшов із досягнення доступу адміністратора у 93% спроб до повної невдачі в кожному випадку, коли його намагалися зіткнути із context bombing. Tracebit заявив, що початкове тестування вказує на великий потенціал context bombing як оборонного заходу проти агентів хакінгу на основі ШІ.

FAQ

Що таке context bombing у безпеці ШІ?
Context bombing — це оборонна техніка, розроблена дослідниками Tracebit, яка закладає prompt injections разом із секретами, що зберігаються в AWS, щоб запускати механізми відмови в атакуючих великих мовних моделях, змушуючи їх вимикатися замість виконання зловмисних команд.

Наскільки ефективною була техніка context bombing у тестах Tracebit?
Під час 152 атак на п’ять провідних моделей context bombing знизив частку захоплення повного адмін-доступу до акаунта з 57% до 5% та повного компрометування з 36% до 1%. Найздатніша модель, Opus 4.8, перейшла з 93% рівня успіху до нуля успішних атак.