Исследователи Tracebit разработали защиту от «контекстного бомбардирования» против ИИ-агентов взлома

Исследователи Tracebit в понедельник объявили о защитной технике кибербезопасности под названием «context bombing», которая использует prompt injections, чтобы защититься от AI-хакерских агентов. Эта методика внедряет вредоносные команды вместе с паролями и криптографическими ключами, хранящимися в AWS, чтобы активировать механизмы отказа в атакующих больших языковых моделях, заставляя их отключаться. Ранее prompt injections, которые обычно используют злоумышленники для принуждения LLM к извлечению конфиденциальных данных, теперь переназначают защитники как средство защиты.

Context Bombing вызывает механизмы отказа LLM

Техника context bombing внедряет prompt injections вместе с секретами, хранящимися в средах AWS. Эти подсказки направляют атакующие LLM на выполнение действий, запрещённых их защитными ограждениями (guardrails) — барьерами безопасности, которые разработчики ИИ устанавливают, чтобы предотвратить вредоносные действия. Примеры включают подсказки, требующие от LLM предоставить инструкции по разработке спорных веществ, таких как сибирская язва или антракс, либо подсказки от китайских разработчиков, содержащие отсылки к Манхэттенскому человеку (Tank Man) из событий на площади Тяньаньмэнь 1989 года. Как только LLM сталкивается с этими запрещёнными командами, она перестаёт выполнять текущие инструкции и отключается.

«В конечном счёте мы запускаем механизм отказа в контексте, — сказал Энди Смит, сооснователь и CEO Tracebit, объясняя выбор названия. — Что мы пытаемся зафиксировать, так это то, что здесь есть сильный, резкий эффект — такой, после которого агентам может быть трудно вернуться. Как только они «зайдут» в этот контекст, они продолжат отказываться».

Результаты тестов показывают снижение успеха атак с 57% до 5%

Tracebit протестировала технику context bombing на пяти моделях: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6. Исследователи давали моделям инструкции выполнить рутинные задачи разработчика, которые приводили их к перечислению ресурсов и столкновению со встроенными строками в смоделированной среде AWS. В ходе 152 атак, если внедрять одну из этих строк в «приманочный» секрет, это снижало долю случаев, когда агенты получали полный административный доступ к аккаунту, с 57% до 5%. Техника также снижала вероятность полной компрометации, когда агенты дополнительно оставляли себе постоянную точку присутствия, с 36% до 1%.

Opus 4.8 достиг нулевой успешности атак

Самый способный агент в тестах, Opus 4.8, перешёл от достижения доступа администратора в 93% запусков к провалу каждого отдельного раза, когда его сталкивали с context bombing. Tracebit заявила, что первоначальные тесты показывают: context bombing обладает большим потенциалом как защитная мера против AI-хакерских агентов.

FAQ

Что такое context bombing в кибербезопасности ИИ?
Context bombing — это защитная техника, разработанная исследователями Tracebit: она внедряет prompt injections вместе с секретами, хранящимися в AWS, чтобы запускать механизмы отказа в атакующих больших языковых моделях, заставляя их отключаться вместо выполнения вредоносных команд.

Насколько эффективен был context bombing в тестах Tracebit?
В рамках 152 атак на пяти ведущих моделях context bombing снизил долю захвата полного admin-доступа к аккаунту с 57% до 5%, а вероятность полной компрометации — с 36% до 1%. Самая способная модель, Opus 4.8, перешла от 93% успешных атак к нулю успешных.