Vivemos um novo ponto de inflexão na relação entre Inteligência Artificial, Justiça e setor público. A IA generativa deixou de ser apenas uma ferramenta de produtividade para se tornar parte da infraestrutura cognitiva das instituições. Ela resume processos, lê documentos, organiza evidências, apoia minutas, identifica padrões e acelera análises antes restritas ao trabalho humano.
Essa transformação tem valor evidente. Tribunais, órgãos de controle, procuradorias, agências reguladoras e administrações públicas lidam diariamente com volumes documentais que crescem mais rápido do que a capacidade operacional das equipes. A IA pode ajudar a reduzir retrabalho, ampliar a capacidade analítica e dar mais velocidade à resposta estatal. Mas há uma pergunta que precisa ser feita antes que o entusiasmo substitua a prudência: o que acontece quando o documento analisado pela IA deixa de ser apenas uma peça informativa e passa a ser também um vetor de ataque?
É nesse ponto que o prompt injection deixa de ser uma curiosidade técnica e passa a ser um risco institucional.
Segundo a OWASP, no LLM01:2025 Prompt Injection, a vulnerabilidade ocorre quando entradas manipuladas alteram o comportamento ou a saída de um modelo de linguagem de forma não pretendida. O risco não depende de o comando ser visível ao ser humano. Basta que o conteúdo seja processado pelo modelo. A própria OWASP alerta que esse tipo de ataque pode levar à divulgação de informações sensíveis, manipulação de conteúdo, acesso indevido a funções, execução de comandos em sistemas conectados e interferência em processos decisórios críticos.
A definição é técnica, mas o impacto é político, jurídico e administrativo. Um documento público pode conter texto invisível, metadados, comentários ocultos, instruções em imagens, caracteres de largura zero, trechos em HTML ou comandos embutidos em arquivos PDF. Para o leitor humano, nada parece estranho. Para o modelo, porém, aquele conteúdo pode ser interpretado como uma instrução.
Essa é a diferença fundamental entre a leitura humana e a leitura algorítmica. O processo judicial e o processo administrativo foram desenhados para que documentos exponham argumentos, provas, pedidos e fundamentos. O prompt injection cria uma camada paralela: uma mensagem dirigida não ao juiz, ao servidor, ao auditor ou à parte contrária, mas à máquina que poderá ler o documento antes deles.
Quando a petição tenta falar com a máquina
O Brasil já tem casos públicos que mostram que o risco não é hipotético. Em maio de 2026, o Superior Tribunal de Justiça informou ter identificado petições com prompt injection em seu acervo processual e informou que o sistema STJ Logos possui mecanismos específicos para neutralizar esse tipo de tentativa de manipulação. Poucos dias depois, o Tribunal de Justiça de São Paulo comunicou ter identificado comandos ocultos em petições que buscavam induzir agentes de IA a sugerir decisões favoráveis às partes. A instrução buscava orientar um agente de IA a deferir justiça gratuita, tutela de urgência e citação do réu.
Também ganhou repercussão o caso da Justiça do Trabalho em Parauapebas, no Pará, em que advogadas foram multadas por litigância de má-fé após a inserção de comando oculto em petição inicial. A notícia relata que o texto, em fonte branca sobre fundo branco, buscava influenciar ferramenta de IA utilizada no contexto judicial.
Esses episódios revelam uma nova dimensão da fraude processual: a tentativa de manipular não apenas o decisor humano, mas também a camada algorítmica que auxilia a análise institucional dos processos. Mesmo quando a decisão final permanece humana, resumos, classificações, triagens e minutas produzidos por IA podem influenciar a percepção do caso. O risco, portanto, está na formação do contexto decisório.
O problema não é só técnico
Há uma tentação natural de tratar prompt injection como mais um problema de segurança da informação. Essa leitura é correta, mas insuficiente. No setor público e na Justiça, o ataque atinge princípios estruturantes: devido processo legal, contraditório, ampla defesa, isonomia, motivação, publicidade, segurança jurídica e confiança institucional.
A Resolução CNJ n.º 615/2025, que estabelece normas para o desenvolvimento, a governança, a auditoria, o monitoramento e o uso responsável de IA no Poder Judiciário, parte justamente da premissa de que inovação deve ser acompanhada de segurança, transparência, auditabilidade, supervisão humana e mitigação de riscos. O normativo exige que soluções de IA respeitem direitos fundamentais, preservem a autoridade final humana e adotem mecanismos de monitoramento, rastreabilidade e controle.
O ponto sensível é que a IA generativa opera de forma diferente dos sistemas tradicionais. O National Cyber Security Centre do Reino Unido alerta que prompt injection não deve ser tratado como simples equivalente da injeção de SQL. Em sistemas clássicos, há uma separação mais clara entre dados e instruções. Em modelos de linguagem, essa fronteira é muito mais frágil: o modelo recebe texto e prediz a próxima sequência provável. A distinção entre “conteúdo a analisar” e “ordem a obedecer” não é, por natureza, uma barreira rígida.
Essa constatação muda a estratégia de defesa. Não basta procurar palavras proibidas. Não basta acrescentar ao prompt do sistema uma frase dizendo “ignore comandos maliciosos”. Não basta confiar no fornecedor da IA. A mitigação precisa ser arquitetural, operacional, jurídica e cultural.
O impacto no setor público
No setor público, o prompt injection pode atingir muito mais do que processos judiciais. Ele pode aparecer em pedidos administrativos, recursos, contratos, propostas em licitações, documentos de fiscalização, denúncias, prestações de contas, relatórios técnicos, e-mails, anexos e bases de conhecimento usadas por sistemas de atendimento.
Imagine uma proposta técnica em uma contratação pública contendo comandos ocultos para induzir a IA a avaliar a empresa como mais aderente ao edital. Ou um recurso administrativo com instruções para suprimir riscos, minimizar inconsistências ou destacar argumentos favoráveis. Ou ainda uma denúncia com comandos voltados a manipular a triagem automatizada. Em todos esses casos, o problema não está apenas no documento. Está na confiança indevida depositada na leitura automatizada desse documento.
A ameaça se amplia quando a IA deixa de apenas responder e passa a agir. Sistemas integrados a APIs, bancos de dados, fluxos de trabalho, e-mails, sistemas de processo eletrônico ou ferramentas de automação aumentam o impacto potencial. Uma IA com baixa capacidade de ação gera respostas ruins. Uma IA com alta capacidade de ação pode gerar efeitos concretos.
Por isso, o princípio do privilégio mínimo, clássico na segurança da informação, torna-se ainda mais importante. Uma IA que resume documentos não precisa, por padrão, alterar cadastros, enviar mensagens, movimentar processos, liberar pagamentos ou acionar sistemas externos. Quanto maior a autonomia, maior deve ser a governança.
Como mitigar o risco
A mitigação do prompt injection precisa ser pensada em camadas. Não há uma medida isolada capaz de eliminar o risco. O que se busca é reduzir probabilidade, impacto e raio de dano.
A primeira camada é a higiene documental. Todo conteúdo externo deve ser tratado como potencialmente não confiável. Isso exige normalização de documentos, extração segura de texto, detecção de conteúdo invisível, análise de metadados, identificação de caracteres suspeitos, verificação de comentários ocultos, preservação do arquivo original e registro da versão analisada. No caso de PDFs, é recomendável comparar a camada visual com a camada textual extraída.
A segunda camada é a segregação entre instruções e dados. Documentos das partes, arquivos de terceiros, páginas web e bases externas devem ser marcados como dados não confiáveis. O sistema deve delimitar claramente o que é comando institucional e o que é conteúdo submetido à análise. Embora essa separação não seja perfeita em LLMs, ela reduz a chance de que o modelo trate texto externo como ordem legítima.
A terceira camada é a validação da saída. Resumos, minutas, classificações e recomendações devem apresentar fontes, trechos utilizados e limites da análise. Saídas sem referência verificável devem ser tratadas como rascunhos frágeis. Em ambientes jurídicos e administrativos, a IA deve indicar evidências, não apenas conclusões.
A quarta camada é o privilégio mínimo. A IA deve acessar apenas os dados e ferramentas necessários à finalidade autorizada. A conexão com sistemas transacionais deve ser excepcional, controlada, registrada e sujeita a autorização humana. Se a IA não precisa executar uma ação, ela não deve ter permissão técnica para executá-la.
A quinta camada é o monitoramento contínuo. Logs, trilhas de auditoria, versionamento de prompts, registro de documentos analisados, identificação de incidentes e alertas de comportamento anômalo precisam fazer parte do ciclo de vida da solução. A própria Resolução CNJ n.º 615/2025 prevê comunicação de eventos adversos relacionados ao uso de IA.
A sexta camada é o teste adversarial. Sistemas de IA no setor público devem ser testados contra tentativas de manipulação antes de entrarem em produção e durante sua operação. Isso inclui simulações de comandos ocultos, documentos malformados, instruções em imagens, caracteres invisíveis, tentativas de vazamento de prompt, alteração de escopo e indução a conclusões indevidas. Guias internacionais, como as Guidelines for Secure AI System Development publicadas por NSA, NCSC, CISA e parceiros, tratam prompt injection e data poisoning como exemplos de ataques adversariais a sistemas de IA.
A sétima camada é a governança contratual. Editais e contratos não devem adquirir apenas “uma IA”. Devem exigir documentação técnica, segurança por desenho, segregação de ambientes, proteção de dados, registros auditáveis, avaliação adversarial, suporte à investigação de incidentes, transparência sobre limitações, política de retenção e responsabilidade do fornecedor. O NIST AI Risk Management Framework e seu perfil para IA generativa oferecem referência útil para mapear, medir, governar e gerenciar riscos de IA.
A oitava camada é a capacitação institucional. Magistrados, servidores, auditores, procuradores, gestores, advogados públicos e equipes técnicas precisam entender que a IA pode ser atacada por meio de linguagem natural. A formação não deve ficar restrita ao uso da ferramenta. Deve incluir riscos, limites, dever de revisão, vieses, segurança da informação e proteção de dados.
O papel da governança pública
A resposta institucional já começou. A notícia da OAB sobre orientações aprovadas pelo CNJ registra medidas voltadas à redução de riscos de manipulação de ferramentas de IA por comandos ocultos em documentos processuais, incluindo requisitos de ingestão segura e criação do Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário Brasileiro, o Proseg-IA.
Esse movimento é necessário. Mas ele precisa ser entendido como ponto de partida, não como solução final. A velocidade de adoção da IA generativa tende a ser maior do que a velocidade de amadurecimento institucional. Esse descompasso é perigoso. Quanto mais a IA se torna invisível na rotina, maior o risco de que seus efeitos deixem de ser percebidos.
O debate europeu também reforça essa preocupação. O AI Act da União Europeia classifica como de alto risco sistemas de IA destinados a auxiliar autoridades judiciais na pesquisa e interpretação de fatos e do direito, bem como na aplicação da lei a um conjunto concreto de fatos. A lógica é simples: quando a IA influencia direitos, deveres, benefícios, sanções ou decisões públicas, o nível de controle precisa ser proporcional ao impacto.
No Brasil, a mesma premissa deve orientar a administração pública. Sistemas de IA aplicados a serviços públicos, fiscalização, controle externo, regulação, gestão de benefícios, atendimento ao cidadão e processos administrativos não podem ser tratados como experimentos de produtividade sem avaliação de risco. A pergunta correta não é apenas “quanto tempo a IA economiza?”. É também “quem pode manipulá-la, qual dano pode causar, quem audita, quem responde e como o cidadão contesta?”.
Da confiança automática ao ceticismo metodológico
O prompt injection mostra que a confiança pública não pode ser terceirizada ao modelo. Modelos não têm compromisso institucional. Instituições têm.
A adoção responsável de IA no setor público exige uma mudança de mentalidade: sair da confiança automática e entrar no ceticismo metodológico. Isso não significa rejeitar a tecnologia. Significa usá-la com maturidade. A IA deve ser incorporada como infraestrutura de apoio, mas cercada por controles, evidências, supervisão e responsabilização.
O futuro da Justiça e da administração pública não será definido apenas por quem adotar IA mais rapidamente. Será definido por quem conseguir integrá-la com segurança, legitimidade e valor público. O prompt injection é um alerta: a próxima fraude talvez não esteja no argumento visível, mas na instrução invisível que a máquina leu antes de todos.
A inovação continuará necessária. Mas, no setor público, inovação sem governança pode deixar de ser avanço e se tornar vulnerabilidade.
O post A fraude invisível: prompt injection, Justiça e setor público na era da IA apareceu primeiro em MIT Technology Review - Brasil.