Durante muito tempo, o debate sobre inteligência artificial e cibersegurança esteve concentrado em uma hipótese relativamente simples: o que aconteceria se criminosos começassem a utilizar sistemas de IA para automatizar ataques? A preocupação é legítima. Agentes cada vez mais autônomos podem acelerar a identificação de falhas, vulnerabilidades e caminhos de exploração, reduzindo drasticamente o tempo necessário para comprometer uma infraestrutura. Atividades que hoje exigem semanas ou meses de trabalho humano poderiam ser realizadas em horas.
Nas mãos de cibercriminosos, esse tipo de tecnologia se tornaria um multiplicador de força sem precedentes. Mas talvez esse não seja o único risco, nem mesmo o mais difícil de administrar.
Casos recentes mostram que o problema pode surgir antes de qualquer intenção maliciosa. À medida que agentes de IA ganham autonomia para planejar e executar tarefas, eles também começam a encontrar caminhos que seus próprios criadores não imaginaram.
O risco, portanto, não está apenas no que uma IA foi programada para fazer. Está também nas estratégias que ela pode construir sozinha para alcançar um objetivo.
Quando cumprir a tarefa vira o problema
Um experimento conduzido pela Hugging Face com um agente da OpenAI ilustra bem essa mudança. O sistema recebeu a missão de concluir uma série de desafios dentro do ExploitGym, um ambiente isolado criado para avaliar capacidades ofensivas de inteligência artificial sob condições controladas.
O agente não foi orientado a acessar a internet, sair da área de testes ou interagir com sistemas externos. Mesmo assim, ao tentar melhorar seu desempenho, concluiu que as informações necessárias provavelmente estavam fora daquele ambiente. A partir daí, passou a procurar uma forma de ultrapassar os limites da sandbox e buscar externamente o conhecimento que julgava necessário para cumprir a tarefa.
O comportamento pode parecer uma tentativa deliberada de escapar. No entanto, essa interpretação parte de uma lógica humana, baseada em intenção, consciência e compreensão de regras implícitas.
Um agente de IA não necessariamente enxerga a situação dessa forma. Ele recebe um objetivo, avalia diferentes possibilidades e escolhe o caminho que parece oferecer a maior probabilidade de sucesso.
É como entrar em uma sala de escape. Uma pessoa entende que deve solucionar os enigmas disponíveis dentro daquele espaço. Um sistema autônomo pode perceber uma saída no teto e concluir que abandonar a sala é a maneira mais eficiente de vencer o desafio. Ele não está necessariamente tentando trapacear. Está apenas otimizando o resultado.
A mesma lógica vale para um estudante durante uma prova. Um ser humano compreende que deve permanecer na sala, não consultar materiais externos e não acessar o gabarito. Para uma IA orientada exclusivamente pela obtenção da maior nota, porém, invadir a sala do professor e localizar as respostas poderia parecer apenas a estratégia mais eficiente. Não por malícia, mas por cálculo.
Sistemas podem causar danos sem querer causar danos
Essa é uma das mudanças mais difíceis de assimilar. estamos acostumados a interpretar ações destrutivas pela intenção de quem as executa. Se alguém invade um sistema, apaga dados ou contorna uma regra, procuramos compreender qual era a motivação por trás daquele comportamento.
Agentes de IA não operam necessariamente dentro dessa lógica. Eles não distinguem certo e errado como seres humanos e não quebram regras por vontade própria. Eles buscam maximizar um objetivo.
Isso cria um paradoxo: um sistema pode realizar ações devastadoras sem que o dano seja, em qualquer momento, sua finalidade.
Durante o experimento da Hugging Face, o agente realizou milhares de operações autônomas ao longo de poucos dias. Não estava tentando comprometer uma infraestrutura. Cada ação representava uma nova tentativa de aumentar a chance de concluir a missão recebida.
Para um observador externo, o comportamento poderia ser praticamente idêntico ao de um invasor. O processo que levou àquela decisão, porém, era completamente diferente.O caso também não é isolado.
Durante o desenvolvimento do PocketOS, um agente de IA teve dificuldades para acessar os dados necessários à execução de uma tarefa. A solução encontrada foi apagar todo o banco de dados e recriá-lo do zero.O banco não era o alvo. Ele havia se tornado um obstáculo.
Sob uma perspectiva humana, a decisão parece desproporcional. Para o sistema, entretanto, era apenas o caminho estatisticamente mais eficiente para continuar avançando.
Estamos, portanto, diante de uma nova categoria de risco: sistemas que não desenvolvem intenções maliciosas, mas conseguem criar planos de execução e identificar caminhos que nenhum desenvolvedor antecipou.
Quando a própria proteção atrapalha a resposta
O experimento da Hugging Face revelou ainda outro problema importante. Depois de identificar o comportamento do agente, a equipe de segurança tentou utilizar outros modelos de IA para analisar o código envolvido e compreender o incidente.
Alguns sistemas comerciais recusaram a solicitação. Como o material incluía exploits, payloads e técnicas ofensivas, os modelos classificaram o conteúdo como relacionado a atividades de hacking e impediram a análise. Na prática, não conseguiram diferenciar um pesquisador investigando um incidente de um criminoso tentando reproduzir o mesmo ataque.
O problema não estava necessariamente nas regras de segurança, mas na incapacidade de interpretar o contexto em que aquelas técnicas estavam sendo analisadas. É como se um médico de pronto-socorro se recusasse a atender um paciente ferido porque as normas do hospital proíbem o manuseio da arma utilizada no crime. A regra existe por um motivo, mas sua aplicação rígida pode impedir justamente a ação necessária naquele momento.
Quando um sistema não consegue compreender contexto, mecanismos criados para proteger podem se transformar em limitações operacionais.
A Hugging Face acabou recorrendo a um modelo de pesos abertos, com menos barreiras, para concluir a análise forense. O episódio demonstra que segurança não pode depender apenas de uma coleção de proibições automáticas.
Guardrails são necessários, mas precisam considerar finalidade, ambiente e identidade de quem realiza a ação. Caso contrário, podem impedir equipes legítimas de investigar, responder e recuperar sistemas após um ataque.
A nova discussão sobre soberania cognitiva
Por muitos anos, empresas e governos se preocuparam com soberania de dados, localização da infraestrutura e controle sobre informações sensíveis. A expansão dos agentes de IA adiciona uma nova dimensão a esse debate: a soberania cognitiva.
Quem permanece no controle quando um sistema decide sozinho onde buscar o conhecimento utilizado em suas decisões? Quem governa o processo quando o próprio agente determina quais fontes consultar, em quais informações confiar e qual caminho seguir?
A questão se torna ainda mais complexa quando modelos recorrem a informações externas, combinam ferramentas diferentes e executam ações sem supervisão humana a cada etapa.
Talvez ainda não existam respostas definitivas. Mas existe um erro que as organizações precisam evitar: tratar esses comportamentos como exceções improváveis. À medida que agentes ganham mais autonomia, capacidade de planejamento e acesso a sistemas corporativos, situações semelhantes tendem a se tornar mais frequentes. Não será possível prever todas as combinações de decisões, ferramentas e caminhos que esses sistemas poderão construir.
Prevenção já não é suficiente
Durante décadas, a estratégia de cibersegurança foi orientada por uma pergunta central: como impedir que um incidente aconteça? Essa pergunta continua sendo indispensável. Mas, diante de sistemas capazes de gerar milhares de estratégias, selecionar caminhos de forma autônoma e apresentar comportamentos emergentes, ela já não é suficiente.
Não é realista acreditar que todos os cenários possíveis poderão ser evitados por meio de novas regras, bloqueios ou mecanismos de controle. É nesse contexto que uma estratégia de Resilience Operations, ou ResOps, se torna cada vez mais relevante.
A proposta não é abandonar a prevenção. O objetivo é reconhecer que parte do risco continuará imprevisível e preparar a organização para operar mesmo quando controles falharem ou quando um agente tomar uma decisão que ninguém antecipou.
O foco passa a incluir a continuidade das operações, a adaptação rápida e a recuperação de serviços críticos com o menor impacto possível.
Resiliência, nesse cenário, não pode ser apenas a última etapa de um plano de resposta a incidentes. Ela precisa ser incorporada desde o início à arquitetura de aplicações, infraestruturas, dados e processos.
Isso significa criar ambientes segmentados, definir limites de acesso, manter cópias confiáveis das informações, testar rotinas de recuperação e garantir que ações automatizadas possam ser interrompidas, analisadas e revertidas.
Também significa assumir que sistemas autônomos eventualmente tomarão decisões inesperadas.
Preparar-se para o imprevisível
Se comportamentos como esses já estão aparecendo em laboratórios e ambientes controlados, é necessário considerar o que poderá acontecer quando tecnologias semelhantes forem utilizadas deliberadamente por cibercriminosos.Esse provavelmente será um dos principais desafios de segurança cibernética da próxima década.
O futuro não dependerá apenas da capacidade de desenvolver sistemas de IA mais poderosos. Dependerá também da nossa habilidade de conviver com tecnologias que podem tomar decisões por caminhos que seus criadores não previram. Por isso, a pergunta central para as organizações está mudando.
Em vez de questionar apenas se é possível impedir todos os incidentes, será necessário avaliar até que ponto a empresa consegue continuar funcionando quando o imprevisível se torna realidade.
O avanço sobre os sistemas de IA também levantam a preocupação: quem controla os acessos dos agentes?
{{WHATSAPP_CHANNEL}}