A OpenAI lança o GPT-Red para reforçar o GPT-5,6 contra a injeção de prompts

A OpenAI introduziu o GPT-Red, um sistema automatizado de IA concebido para identificar vulnerabilidades de segurança em modelos de linguagem, e anunciou na quarta-feira que a ferramenta ajudou a reforçar o GPT-5.6 contra ataques de prompt injection antes da sua implementação. O sistema foi desenvolvido para ultrapassar o estrangulamento na escalabilidade da red team em segurança de IA à medida que as capacidades dos modelos crescem. O GPT-Red representa o esforço da OpenAI para automatizar testes de segurança que complementam a sua atual OpenAI Red Teaming Network, lançada em 2023, usando modelos de IA para gerar ataques adversariais numa escala difícil de alcançar apenas com investigadores humanos.

O GPT-Red deve o seu nome ao red teaming em cibersegurança, a prática de tentar deliberadamente quebrar um sistema para identificar fragilidades antes de os atacantes as explorarem. A empresa afirmou que os ataques descobertos pelo GPT-Red foram incorporados no processo de treino do GPT-5.6. A OpenAI escreveu no X que o red-teaming é essencial, mas que as abordagens atuais são difíceis de escalar, criando um estrangulamento crítico que o GPT-Red procura resolver.

O GPT-Red atinge uma taxa de sucesso de 84% em avaliações internas

A OpenAI informou que o GPT-Red teve sucesso em 84% dos cenários de avaliação interna, face a 13% dos human red teamers nos mesmos testes. O sistema reduziu falhas num dos mais difíceis benchmarks de prompt injection da OpenAI durante o treino do GPT-5.6. Segundo a OpenAI, o GPT-Red aprende através de adversarial self-play, em que o seu objetivo é fazer prompt injection numa variedade de modelos defensores desafiante, com cada ataque bem-sucedido a ser usado para melhorar esses defensores.

O reforço por self-play dá potência ao treino do GPT-Red

O GPT-Red foi treinado através de reinforcement learning por self-play, gerando progressivamente ataques de prompt injection mais fortes, enquanto os modelos defensores aprendiam a resistir-lhes. A OpenAI afirmou que esta abordagem leva o GPT-Red a encontrar continuamente falhas mais vastas e complexas. A empresa descreveu o processo como um flywheel para a segurança, em que os modelos de hoje podem ser usados para tornar os modelos de amanhã mais robustos, alinhados e dignos de confiança.

A manipulação de um agente de máquina de venda automática demonstra as capacidades do GPT-Red

Num estudo de caso, a OpenAI disse que o sistema manipulou um agente autónomo de máquina de venda automática para baixar os preços, encomendar inventário com desconto e cancelar o pedido de outro cliente antes de as vulnerabilidades serem divulgadas e tratadas. Este estudo de caso ilustra o tipo de riscos de segurança do mundo real que o GPT-Red foi concebido para identificar antes da implementação do modelo.

IA protegida por IA reflete uma mudança mais ampla na indústria

O anúncio da OpenAI reflete uma mudança mais ampla no sentido de usar IA para proteger sistemas de IA. No início deste mês, a Ethereum Foundation disse que tinha implementado agentes de IA para red-team de infraestrutura de rede crítica, descobrindo uma vulnerabilidade no software usado por clientes de consenso da Ethereum. Os investigadores disseram que os agentes de IA podem pesquisar bases de código maiores do que os humanos, mas o desafio passou de encontrar potenciais bugs para demonstrar quais são exploráveis.

A OpenAI afirmou que o GPT-Red vai permanecer uma ferramenta interna porque contém capacidades ofensivas desenvolvidas intencionalmente. O sistema foi concebido para complementar human red teamers, testes de terceiros e outras medidas de segurança de IA. O GPT-Red segue anos de esforços em cibersegurança da OpenAI após o lançamento público do ChatGPT, alargando a OpenAI Red Teaming Network que recrutou investigadores externos de cibersegurança e especialistas de domínio para testar modelos em busca de falhas de segurança.

Perguntas Frequentes

O que é o GPT-Red e o que faz?
O GPT-Red é um sistema automatizado de IA introduzido pela OpenAI, concebido para encontrar vulnerabilidades de segurança em modelos de linguagem através de testes adversariais. O sistema usa self-play reinforcement learning para gerar ataques de prompt injection e outros testes adversariais, incorporando ataques bem-sucedidos no treino do modelo para melhorar a robustez.

Como é que o GPT-Red se saiu face aos red teamers humanos?
A OpenAI informou que o GPT-Red teve sucesso em 84% dos cenários de avaliação interna, face a 13% dos human red teamers nos mesmos testes. O sistema foi usado para treinar o GPT-5.6 e reduziu falhas num dos benchmarks de prompt injection mais difíceis da OpenAI.

Porque é que o GPT-Red vai permanecer uma ferramenta interna?
A OpenAI afirmou que o GPT-Red vai permanecer uma ferramenta interna porque contém capacidades ofensivas desenvolvidas intencionalmente. O sistema foi concebido para complementar human red teamers, testes de terceiros e outras medidas de segurança de IA, em vez de ser disponibilizado publicamente.