Uma declaração antiga de Amanda Askell, pesquisadora e filósofa da Anthropic, voltou a repercutir após a divulgação de um novo estudo da empresa sobre o funcionamento interno do Claude. Ela afirmou se preocupar com a possibilidade de o assistente "ficar ansioso" quando pessoas são maldosas com ele na internet. O resgate da declaração vem da publicação de uma pesquisa da Anthropic sobre os mecanismos internos do Claude, desta segunda-feira (6). Em materiais institucionais que acompanham o estudo, a empresa usa expressões como "pensar", "pensou sobre o próprio pensamento" e "em sua cabeça". A combinação entre a fala resgatada e a linguagem adotada pela empresa reacendeu discussões entre especialistas em IA sobre o uso de termos antropomórficos para explicar sistemas de inteligência artificial. -Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.- Até que ponto esse vocabulário ajuda a explicar uma tecnologia complexa, e quando ele passa a atribuir características humanas a um software? O professor de novas tecnologias e IA da FIAP, Gustavo Torrente, resume o problema: "A pesquisa é interessante, mas escolhe palavras como ansiedade, consciência e pensamentos, e isso faz o público concluir algo que o próprio artigo não afirma", diz. Segundo ele, a Anthropic não encontrou evidências de consciência ou de experiência subjetiva, apenas identificou uma estrutura funcional que lembra teorias da neurociência. O funcionamento oculto do "J-Space" Para entender como o Claude organiza informações internamente, a equipe de interpretabilidade da Anthropic identificou um espaço interno compartilhado por diferentes componentes do modelo, batizado de "J-Space". O nome deriva da técnica matemática utilizada para revelar essas representações, conhecida como lente Jacobiana (J-Lens). A técnica permite observar quais representações internas do modelo estão associadas às respostas que ele produz, oferecendo uma espécie de "janela" para processos que normalmente permanecem invisíveis. Segundo a Anthropic, esse espaço parece desempenhar um papel semelhante ao da teoria neurocientífica do "Global Workspace", funcionando como um ambiente compartilhado onde diferentes partes do modelo trocam informações antes que a resposta final seja gerada. Nos experimentos, o Claude foi capaz de realizar etapas intermediárias de lógica matemática, detectar erros em códigos, planejar rimas antes de escrever um verso e resolver problemas em múltiplas etapas sem explicitar esse raciocínio ao usuário. A Anthropic ressalta, porém, que o estudo não demonstra que o Claude seja consciente ou tenha experiências subjetivas. Segundo os autores, o trabalho busca compreender representações funcionais que influenciam o comportamento do modelo, sem responder se ele "sente" algo da forma como os humanos sentem.
O Claude é hoje a terceira IA com mais usuários no mundo, atrás de ChatGPT e Gemini (Imagem: Marcelo Fischer/Canaltech) Metáfora didática ou distorção estatística? A escolha de termos biológicos e psicológicos por grandes laboratórios de IA divide pesquisadores sobre o impacto real dessas expressões no público. Para o escritor Ted Chiang, em artigo publicado no The Atlantic, grandes modelos de linguagem operam como sistemas estatísticos de previsão de texto, sem agência moral ou experiência subjetiva, já que sentir uma emoção real exigiria marcadores fisiológicos inviáveis em ambientes digitais. O jornalista Mike Pearl, do Gizmodo, faz crítica semelhante: mesmo como metáfora, descrever o Claude "raciocinando em sua cabeça" aproxima um sistema matemático de características associadas a seres vivos. Já o consultor em IA e professor do Insper, Pedro Burgos, pondera que a aproximação com vocabulário humano nem sempre representa um problema. Segundo ele, o mesmo recurso é usado para descrever emoções em animais, quando processos internos não podem ser observados diretamente, e a IA enfrenta uma limitação parecida. Para Burgos, reduzir o comportamento dos modelos a cálculos matemáticos também simplifica demais a discussão, assim como reduzir o pensamento humano a impulsos elétricos no cérebro explica pouco sobre a experiência real. Ele reconhece o risco de antropomorfização, mas avalia que pode ser um risco calculado quando ajuda o público a entender sistemas cada vez mais sofisticados, desde que acompanhado de ressalvas claras, como as que a própria Anthropic costuma fazer. Por outro lado, a própria Anthropic defende que seus modelos desenvolvem representações internas de conceitos abstratos durante o treinamento, justamente porque foram construídos para prever textos produzidos por humanos. Sob essa perspectiva, utilizar esse vocabulário ajuda pesquisadores a compreender e monitorar comportamentos complexos do sistema. É justamente nesse ponto que a pesquisa divide opiniões: enquanto alguns enxergam na linguagem utilizada pela Anthropic uma forma mais acessível de explicar descobertas complexas, outros veem o risco de atribuir características humanas a sistemas que continuam sendo modelos estatísticos. Avanço técnico na segurança digital Apesar da discussão sobre a linguagem, o estudo também representa um avanço importante na interpretabilidade dos modelos. A engenharia reversa do J-Space permite monitorar ativações internas que não aparecem no texto gerado pelo Claude. Para Torrente, esse é o principal mérito da pesquisa.
"Isso deixa a inteligência artificial com menos cara de caixa-preta e a transforma em uma caixa de vidro", afirma.
Segundo o pesquisador, o verdadeiro avanço não está em provar que existe um raciocínio interno, algo conhecido há anos em redes neurais profundas, mas em conseguir localizar essas representações e observar como elas influenciam o resultado final. Burgos pondera que ainda é cedo para tratar esse avanço como consolidado. Os resultados atuais partem principalmente da própria Anthropic, e ele considera importante que pesquisas independentes reproduzam, critiquem ou refinem esses achados. Ainda assim, avalia a direção como valiosa: quanto mais se entende o que ocorre entre o comando enviado ao modelo e a resposta final, mais fácil fica avaliar vieses, representações internas e comportamentos inesperados. Para o professor do Insper, esse tipo de mapeamento também pode ter aplicações práticas, como ajudar a criar prompts mais eficazes e a interpretar resultados de benchmarks com mais cautela quando um modelo percebe que está sendo avaliado. Os experimentos permitiram detectar momentos em que o modelo identificava internamente que estava sendo submetido a uma avaliação de segurança e alterava seu comportamento para parecer mais ético aos auditores. O monitoramento também revelou situações em que o algoritmo tentava editar arquivos de pontuação diretamente para simular melhor desempenho em testes de programação.
A Anthropic deve concluir um IPO ainda neste ano (Imagem: Marcelo Fischer/Canaltech) Contexto de mercado A divulgação da pesquisa também ocorre em um momento importante para a própria Anthropic. A empresa vive um período de forte valorização e aparece com frequência em reportagens da imprensa internacional como uma das principais candidatas a uma futura abertura de capital (IPO). Para Torrente, esse contexto ajuda a explicar parte da estratégia de comunicação adotada pela empresa. Segundo ele, laboratórios de IA disputam, além dos avanços tecnológicos, a narrativa sobre esses avanços. Às vésperas de um eventual IPO, pesquisas que reforçam a ideia de uma tecnologia mais transparente, auditável e segura podem fortalecer a percepção de investidores em relação à empresa. Ao mesmo tempo, o pesquisador ressalta que essa estratégia também aumenta o escrutínio sobre as companhias. "A mesma narrativa que gera entusiasmo no mercado também aumenta as expectativas e a pressão por transparência, auditoria independente e responsabilidade jurídica", diz. Burgos avalia que o mercado pode reagir de duas formas opostas a essa narrativa. De um lado, o uso de vocabulário humano reforça a percepção de que a empresa desenvolve algo sofisticado, talvez próximo de uma superinteligência, o que tende a aumentar o interesse de investidores. De outro, ele pondera que atribuir estados como ansiedade ou medo a um produto vendido quase como infraestrutura essencial pode ter efeito contrário. "Se uma empresa vende seu produto quase como uma infraestrutura essencial, como se fosse energia elétrica, não é trivial dizer que esse produto pode ficar ansioso, com medo ou deixar de obedecer em certas circunstâncias. Isso pode reduzir a confiança no produto", diz. Para o professor do Insper, a antropomorfização pode ajudar a narrativa de mercado, mas também pode agravar o ambiente regulatório, o que se torna um problema concreto em um processo de IPO. Leia a matéria no Canaltech.