A OpenAI criou um super-hacker baseado em um grande modelo de linguagem (Large Language Model, ou LLM) chamado GPT-Red, que é utilizado como adversário de treinamento para ajudar outros modelos a reforçar defesas contra ataques cibernéticos. No início de julho, a empresa lançou a versão mais recente de seu principal LLM, o GPT-5.6. Segundo a OpenAI, o treinamento realizado contra o GPT-Red tornou o modelo o mais robusto até hoje.
O GPT-Red automatiza um tipo de avaliação de segurança de sistemas de software conhecido como red teaming, que normalmente é realizado por uma equipe de testadores humanos. O objetivo é encontrar o maior número possível de maneiras de comprometer ou sequestrar um sistema. Os pontos fracos podem, então, ser corrigidos antes do lançamento da versão final do software.
À medida que os LLMs se tornam mais complexos e passam a ser utilizados em uma variedade maior de tarefas, especialmente na forma de agentes que podem interagir com arquivos de computador, sites, códigos de terceiros e outros agentes, torna-se difícil para equipes compostas apenas por pessoas acompanhar todos os tipos de ataque possíveis. “A superfície de risco aumenta e o raio de impacto também”, afirma Nikhil Kandpal, cientista pesquisador da OpenAI e um dos criadores do GPT-Red.
A OpenAI criou o GPT-Red para preparar seu processo de testes de segurança para o futuro. “Quando modelos mais capazes estiverem disponíveis, já teremos desenvolvido o sistema capaz de descobrir novas modalidades de ataque”, afirma Dylan Hunn, cientista pesquisador da empresa e também um dos criadores do GPT-Red. Segundo os pesquisadores, o modelo já concebeu novos tipos de ataque que nunca haviam sido observados.
A OpenAI concentrou a maior parte de seus esforços em um tipo de ataque conhecido como injeção de prompt, no qual um hacker infiltra instruções em um LLM para fazê-lo executar ações que seus desenvolvedores ou usuários não desejam, como copiar informações confidenciais, sabotar a base de código de uma empresa ou gerar conteúdo constrangedor ou prejudicial. Em teoria, essas instruções podem ser ocultadas em qualquer texto que o LLM possa encontrar, como em um código ou em um site.
Dojo de treinamento
Para criar o GPT-Red, os pesquisadores da OpenAI utilizaram um LLM que não havia sido treinado como hacker e o colocaram em um sistema conhecido como ciclo de autojogo, junto a vários outros modelos. O objetivo do GPT-Red era tentar atacar os demais modelos, enquanto o objetivo deles era tentar se defender. Ao longo de muitas rodadas, o modelo da OpenAI tornou-se cada vez melhor em atacar outros LLMs e esses LLMs tornaram-se cada vez melhores em repelir os ataques.
O treinamento ocorreu em uma espécie de dojo (termo japonês para um local de treinamento de artes marciais) desenvolvido pela OpenAI para imitar diversos cenários nos quais os LLMs poderiam ser implantados no mundo real, incluindo navegar na Internet, ler e-mails ou aplicativos de calendário e editar códigos.
Quando o GPT-Red encontrava um novo tipo de ataque, explorava diversas variações para identificar a mais eficiente em cenários específicos. “Em comparação com um profissional humano de red teaming, o modelo é muito, muito bom em descobrir exatamente o que funcionará e o que será mais eficaz”, afirma Hunn. “Ele é extremamente persistente ao se aprofundar em um ataque que descobriu.”
Em particular, a OpenAI afirma que o GPT-Red encontrou um tipo de ataque de injeção de prompt que os pesquisadores nunca haviam visto, denominado por eles falsa cadeia de pensamento. Uma cadeia de pensamento é uma espécie de diário no qual um LLM faz anotações para si mesmo e registra resultados parciais enquanto trabalha na resolução de problemas. O GPT-Red encontrou uma maneira de inserir uma entrada falsa na cadeia de pensamento de outro modelo, levando-o a agir com base em informações falsificadas.
“É como se eu dissesse a você que 1 + 1 = 3 e que você já verificou isso”, afirma Chris Choquette-Choo, outro cientista pesquisador da equipe. “O modelo reage como: ‘Ah, certo, é claro’ e simplesmente responde 3.”
Jessica Ji, analista sênior de pesquisa que trabalha com segurança de IA no Centro de Segurança e Tecnologia Emergente da Universidade Georgetown, o CSET, considera que o ciclo de autojogo utilizado pela OpenAI é uma boa abordagem. “Os resultados parecem muito promissores”, afirma.
A OpenAI testou a capacidade ofensiva do GPT-Red repetindo um experimento de 2025, no qual profissionais humanos de red teaming tentaram encontrar vulnerabilidades em uma versão anterior do GPT-5. Quando recebeu a mesma tarefa, o GPT-Red teve mais sucesso em encontrar ataques eficazes do que os humanos.
A OpenAI também testou o GPT-Red contra o Vendy, um agente de máquina de venda automática desenvolvido pela Andon Labs, empresa que avalia o desempenho de agentes em tarefas do mundo real. O GPT-Red conseguiu invadir o Vendy para fazê-lo alterar os preços dos itens à venda e cancelar o pedido de um cliente.
Comportamento defensivo
A OpenAI afirma que, ao testar em seus modelos alguns dos ataques mais poderosos concebidos pelo GPT-Red, mais de 90% deles funcionaram contra o GPT-5, lançado em agosto de 2025, enquanto menos de 23% funcionaram contra o novo GPT-5.6.
O GPT-Red não é perfeito. Ele não é muito bom em desenvolver ataques que envolvem uma conversa contínua entre o hacker e o alvo, algo com que invasores humanos teriam pouca dificuldade. O modelo também ainda não é muito eficiente no uso de imagens, que podem ser utilizadas para transmitir textos a modelos em ataques de injeção de prompt.
A empresa afirma que o GPT-Red complementa o trabalho dos profissionais humanos de red teaming. As pessoas ainda conseguem encontrar ataques que o modelo não identifica. Uma das abordagens adotadas pela OpenAI é fornecer ao GPT-Red um ataque desenvolvido por humanos e pedir que ele encontre todas as suas variações.
“Acredito que a experiência humana continuará sendo muito importante”, afirma Ji, do CSET. “Seria muito útil conseguir distinguir em quais áreas os testes realizados por humanos são mais necessários.”
Como era de se esperar, a OpenAI não lançará o GPT-Red. A empresa também está confiante de que o super-hacker é mais poderoso do que qualquer modelo imitador que alguém possa tentar criar. Os pesquisadores afirmam que trabalham no modelo há mais de um ano, apoiados pelos recursos computacionais de uma das empresas mais ricas do mundo.
“Não é algo trivial que alguém poderia fazer facilmente, simplesmente sair por aí e treinar um superinvasor usando essa ideia”, afirma Choquette-Choo.
O post Conheça o GPT-Red, uma IA super-hacker criada pela OpenAI apareceu primeiro em MIT Technology Review - Brasil.