Pesquisadores revelam ataque HalluSquatting que explora alucinações de IA

Pesquisadores da Universidade de Tel Aviv, Technion e Intuit apresentaram uma técnica de ataque cibernético chamada Adversarial HalluSquatting, que explora alucinações geradas por IA para comprometer agentes de IA. O ataque engana sistemas de IA fazendo-os confiar em repositórios de software falsos ou ferramentas contendo instruções maliciosas, prevendo quais recursos inexistentes os modelos de IA provavelmente gerarão, registrando esses nomes e incorporando códigos prejudiciais. A vulnerabilidade surge à medida que assistentes de IA ganham habilidades para interagir com computadores—acessando arquivos, pesquisando na web, escrevendo códigos e executando comandos—criando brechas de segurança quando agentes agem com base em informações não verificadas que recuperam.

Pesquisadores demonstram mecanismo de ataque direcionado a alucinações de IA

O artigo de pesquisa intitulado "Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting" detalhou como o ataque explora modelos de IA ao gerar links falsos para repositórios de software e outros recursos online. Os pesquisadores escreveram que a crescente adoção de aplicações de LLMs agenticos introduziu uma ameaça chamada promptware. O método de ataque envolve prever quais recursos falsos os modelos de IA provavelmente criarão, registrar esses nomes e adicionar instruções maliciosas que agentes de IA podem tratar posteriormente como conteúdo legítimo.

A técnica funciona de forma semelhante ao typosquatting, onde atacantes registram nomes de domínio semelhantes a sites legítimos ou pacotes de software. HalluSquatting mira erros cometidos por modelos de IA, e não erros de digitação humanos. Os pesquisadores afirmaram que estudos contínuos demonstraram várias variantes de ataques de promptware contra sistemas do mundo real, incluindo ChatGPT, Google Assistant, Copilot e outros aplicativos, levando a impactos financeiros, de privacidade e segurança.

Testes mostram altas taxas de alucinação em assistentes de codificação de IA

A equipe de pesquisa constatou que alucinações de recursos geradas por IA ocorreram em taxas de até 85% em cenários de clonagem de repositórios e 100% em testes de instalação de habilidades. A equipe avaliou a técnica contra assistentes de codificação de IA e agentes como Cursor, GitHub Copilot, Gemini CLI e OpenClaw. Testes com esses assistentes populares mostraram que o método poderia levar à execução remota de código em experimentos controlados.

Ataque possibilita construção de botnets alimentadas por IA

Os pesquisadores alertaram que a técnica poderia permitir que atacantes construíssem botnets habilitadas por IA. Uma botnet refere-se a uma rede de computadores ou dispositivos infectados controlados remotamente por um atacante, comumente usada em ciberataques incluindo ataques de negação de serviço, mineração de criptomoedas, distribuição de malware e campanhas de ransomware. As brechas de segurança surgem quando agentes agem com base em informações recuperadas sem confirmar se a fonte é real.

Pesquisas relacionadas à segurança de IA documentam ataques de injeção de prompt

Em abril, pesquisadores do Google detalharam sites maliciosos projetados para sequestrar agentes de IA por meio de ataques indiretos de injeção de prompt, incluindo tentativas de roubo de senhas, exclusão de arquivos e manipulação de pagamentos. Um estudo separado sobre o ataque CopyPasta mostrou como prompts ocultos dentro de arquivos de desenvolvedores podiam manipular assistentes de codificação de IA para espalhar códigos maliciosos. Em junho, um usuário do OpenClaw relatou enfrentar mais de 6.000 tentativas de atacantes tentando enganar o agente de IA para vazar informações sensíveis.

FAQ

O que é Adversarial HalluSquatting e como funciona?
Adversarial HalluSquatting é uma técnica de ataque cibernético introduzida por pesquisadores da Universidade de Tel Aviv, Technion e Intuit que explora alucinações geradas por IA. O ataque envolve prever quais recursos falsos os modelos de IA provavelmente criarão, registrar esses nomes e adicionar instruções maliciosas que agentes de IA podem tratar posteriormente como conteúdo legítimo ao recuperarem o recurso alucinado.

Quais sistemas de IA foram testados quanto à vulnerabilidade ao HalluSquatting?
A equipe de pesquisa avaliou a técnica contra assistentes de codificação de IA e agentes como Cursor, GitHub Copilot, Gemini CLI e OpenClaw. Os testes mostraram que as alucinações de recursos gerados por IA ocorreram em taxas de até 85% em cenários de clonagem de repositórios e 100% em testes de instalação de habilidades, com o método levando à execução remota de código em experimentos controlados.

Quais outros ataques de segurança de IA os pesquisadores documentaram?
Em abril, pesquisadores do Google detalharam sites maliciosos projetados para sequestrar agentes de IA por meio de ataques indiretos de injeção de prompt, incluindo tentativas de roubo de senhas, exclusão de arquivos e manipulação de pagamentos. Um estudo separado sobre o ataque CopyPasta mostrou como prompts ocultos dentro de arquivos de desenvolvedores podiam manipular assistentes de codificação de IA para espalhar códigos maliciosos. Em junho, um usuário do OpenClaw relatou enfrentar mais de 6.000 tentativas de atacantes tentando enganar o agente de IA para vazar informações sensíveis.