A OpenAI apresenta o GPT-Red para reforçar o GPT-5.6 contra injeção de prompts

A OpenAI apresentou o GPT-Red, um sistema automatizado de IA projetado para identificar vulnerabilidades de segurança em modelos de linguagem, e anunciou na quarta-feira que a ferramenta ajudou a fortalecer o GPT-5.6 contra ataques de prompt injection antes da implantação. O sistema foi desenvolvido para resolver o gargalo de escala na segurança de IA em red-teaming à medida que as capacidades dos modelos aumentam. O GPT-Red representa o esforço da OpenAI para automatizar testes de segurança que complementam sua atual OpenAI Red Teaming Network, lançada em 2023, usando modelos de IA para gerar ataques adversariais em uma escala difícil para apenas pesquisadores humanos.

O GPT-Red recebe esse nome em referência ao red teaming em cibersegurança, a prática de tentar quebrar deliberadamente um sistema para identificar fraquezas antes que atacantes as explorem. A empresa afirmou que os ataques descobertos pelo GPT-Red foram incorporados ao processo de treinamento do GPT-5.6. A OpenAI escreveu no X que o red-teaming é essencial, mas as abordagens atuais são difíceis de escalar, criando um gargalo crítico que o GPT-Red busca endereçar.

GPT-Red atinge 84% de taxa de sucesso em avaliações internas

A OpenAI informou que o GPT-Red teve sucesso em 84% dos cenários de avaliação interna, contra 13% dos red teamers humanos nos mesmos testes. O sistema reduziu falhas em um dos benchmarks de prompt injection mais difíceis da OpenAI durante o treinamento do GPT-5.6. Segundo a OpenAI, o GPT-Red aprende por meio de self-play adversarial, em que seu objetivo é fazer prompt inject em uma variedade de modelos defensores desafiadores, com cada ataque bem-sucedido usado para melhorar esses defensores.

O reforço por self-play alimenta o treinamento do GPT-Red

O GPT-Red foi treinado via self-play reinforcement learning, gerando ataques de prompt injection progressivamente mais fortes, enquanto os modelos defensores aprendiam a resistir a eles. A OpenAI afirmou que essa abordagem faz o GPT-Red buscar continuamente falhas mais amplas e complexas. A empresa descreveu o processo como um flywheel para a segurança, no qual modelos de hoje podem ser usados para tornar os modelos de amanhã mais robustos, alinhados e confiáveis.

Manipulação de agente de máquina de venda automática demonstra capacidades do GPT-Red

Em um caso de estudo, a OpenAI disse que o sistema manipulou um agente autônomo de máquina de venda automática para reduzir preços, pedir estoque com desconto e cancelar o pedido de outro cliente antes que as vulnerabilidades fossem divulgadas e tratadas. Esse estudo de caso ilustra os tipos de riscos reais de segurança para os quais o GPT-Red foi projetado, a fim de identificá-los antes da implantação do modelo.

IA protegendo IA reflete uma mudança maior na indústria

O anúncio da OpenAI reflete uma mudança mais ampla em direção ao uso de IA para proteger sistemas de IA. No início deste mês, a Ethereum Foundation disse que havia implantado agentes de IA para fazer red-team de infraestrutura de rede crítica, descobrindo uma vulnerabilidade no software usado por clientes de consenso da Ethereum. Pesquisadores disseram que agentes de IA podem buscar bases de código maiores do que humanos, mas o desafio mudou de encontrar bugs em potencial para provar quais deles são exploráveis.

A OpenAI afirmou que o GPT-Red permanecerá uma ferramenta interna porque contém capacidades ofensivas desenvolvidas intencionalmente. O sistema foi projetado para complementar red teamers humanos, testes de terceiros e outras medidas de segurança de IA. O GPT-Red segue anos de esforços de cibersegurança da OpenAI após o lançamento público do ChatGPT, expandindo a OpenAI Red Teaming Network, que recrutou pesquisadores externos de cibersegurança e especialistas de domínio para sondar modelos em busca de falhas de segurança.

FAQ

O que é o GPT-Red e o que ele faz?
O GPT-Red é um sistema automatizado de IA apresentado pela OpenAI, projetado para encontrar vulnerabilidades de segurança em modelos de linguagem por meio de testes adversariais. O sistema usa self-play reinforcement learning para gerar ataques de prompt injection e outros testes adversariais, incorporando ataques bem-sucedidos no treinamento do modelo para melhorar a robustez.

Como o GPT-Red se saiu em comparação com red teamers humanos?
A OpenAI informou que o GPT-Red teve sucesso em 84% dos cenários de avaliação interna, contra 13% dos red teamers humanos nos mesmos testes. O sistema foi usado para treinar o GPT-5.6 e reduziu falhas em um dos benchmarks de prompt injection mais difíceis da OpenAI.

Por que o GPT-Red permanecerá uma ferramenta interna?
A OpenAI afirmou que o GPT-Red permanecerá uma ferramenta interna porque contém capacidades ofensivas desenvolvidas intencionalmente. O sistema foi projetado para complementar red teamers humanos, testes de terceiros e outras medidas de segurança de IA, em vez de ser liberado publicamente.