A Anthropic, atualmente a empresa de IA mais valiosa do mundo, com uma avaliação de quase US$ 1 trilhão, tem a reputação de publicar pesquisas estranhas e intelectualmente ambiciosas. A empresa está investigando, por exemplo, se modelos de IA podem sentir dor e, às vezes, interrompe conversas com chatbots quando suspeita que os usuários estão “abusando” do modelo.
Uma área de nicho na qual a Anthropic investe mais tempo e dinheiro do que outras empresas de IA é chamada de interpretabilidade mecanicista, que consiste em examinar a matemática complexa de um modelo de IA para entender por que ele produz um resultado específico, e não outro. É um tema complicado. Há milhões de pontos de dados que podem contribuir para qualquer resultado, e analisá-los pode parecer mais uma salada de palavras do que algo útil. Também é uma área controversa. Descrever modelos de IA com termos emprestados da psicologia e da neurociência pode fazer com que o comportamento deles pareça mais sofisticado do que consideraríamos de outra forma.
Por isso, quando a Anthropic anunciou, na semana passada, que havia encontrado uma nova janela para os “pensamentos internos” de seus modelos enquanto eles raciocinam para chegar às respostas, havia um colega com quem eu precisava conversar. O editor sênior Will Douglas Heaven, além de ter doutorado em ciência da computação, passou muito tempo investigando o que podemos afirmar sobre o funcionamento dos modelos de IA. Conversei com ele sobre o que devemos concluir da nova pesquisa da Anthropic, que, como era de esperar, é bastante peculiar.
O que exatamente a Anthropic descobriu?
A Anthropic vem tentando entender como os grandes modelos de linguagem, ou LLMs, funcionam há alguns anos. A Anthropic não é a única a investigar isso, mas acredito que a empresa tenha transformado essa questão em parte de sua missão central mais do que a maioria. O CEO da Anthropic, Dario Amodei, afirmou que não conseguiremos controlar totalmente os LLMs a menos que aprendamos mais sobre como eles funcionam.
Portanto, essa nova pesquisa está muito inserida nesse contexto. Ela se aprofunda nos estranhos mecanismos internos dos LLMs como nunca antes. O que a Anthropic descobriu foi que os LLMs têm um espaço em seu interior, chamado pela empresa de espaço J, repleto de palavras que não aparecem em seus resultados, mas que parecem influenciar a maneira como eles tentam resolver problemas. Tudo isso permaneceu oculto até que a Anthropic desenvolvesse uma nova técnica para investigar seu modelo Claude, portanto, trata-se de uma descoberta genuína.
Às vezes, essas palavras acompanham até onde o LLM chegou em uma determinada tarefa; em outras ocasiões, parecem mais lampejos de reconhecimento, por exemplo, a palavra “proteína” pode surgir quando você fornece a um LLM apenas as letras de uma sequência de proteína; e, em outros casos, representam uma espécie de comentário interno sobre a tomada de decisões do modelo. No meu exemplo favorito, Claude decidiu trapacear em um teste de programação quando a palavra “pânico” apareceu.
A Anthropic também descobriu que os LLMs são capazes de descrever e manipular as palavras nesse espaço. Portanto, de alguma forma, eles parecem estar fazendo uso dele.
Vamos recuar por um instante. Não considero os grandes modelos de linguagem simples, mas eles também não são mágicos. Há um conjunto de operações matemáticas que aprende relações entre palavras, certo? Então, por que é tão difícil “espiar” o interior de um LLM para saber o que está acontecendo?
Sim, eles não são mágicos! Acho que o fato de não os compreendermos totalmente alimenta a criação de mitos. E vale observar que toda a narrativa que a Anthropic está promovendo aqui, a de que construiu uma tecnologia realmente misteriosa, mas que não há motivo para preocupação porque a própria empresa também será responsável por desvendá-la, combina muito com o estilo da companhia. [Veja como a Anthropic alertou que seus novos modelos eram tão bons em programação que representavam um risco global à segurança cibernética, pouco antes de o governo dos Estados Unidos suspendê-los.
Portanto, sim, os LLMs são apenas matemática, mas uma matemática imensamente complexa. Os LLMs atuais não são apenas formados por centenas de bilhões de números, sua execução também desencadeia uma cascata de milhões e milhões de cálculos. Escrevi no ano passado que, se você imprimisse até mesmo um LLM de tamanho médio em folhas de papel, ele cobriria uma cidade do tamanho de São Francisco.
É impossível compreender toda essa matemática sem ferramentas especializadas que destaquem partes específicas de um LLM em momentos específicos. É preciso saber onde procurar e como procurar. E construir essas ferramentas exige, antes de tudo, compreender parte dessa matemática complexa.
Você escreveu em outro artigo sobre o conceito de estudar LLMs da mesma forma que alguém estudaria o cérebro de um organismo. É justo usar termos relacionados ao cérebro ao falar sobre como um LLM funciona?
Não gosto muito de usar esse tipo de termo. LLMs não são cérebros. Falar dessa maneira é enganoso porque pode sugerir que os LLMs são capazes de realizar ações mais semelhantes às humanas do que realmente são, ou que podemos fazer suposições sobre como eles podem se comportar quando não deveríamos. Toda essa questão da antropomorfização também está ligada a uma série de posições ideológicas fortes sobre o que essa tecnologia é e o que ela se tornará.
Ao mesmo tempo, porém, não temos um vocabulário alternativo adequado para falar sobre o que esses modelos estão fazendo. Consigo entender por que as pessoas recorrem a palavras como “pensar”, “entender” e “semelhante ao cérebro”, elas são formas abreviadas convenientes.
A Anthropic compara esse novo espaço encontrado no interior dos LLMs ao espaço que alguns neurocientistas acreditam que nosso cérebro usa para acompanhar pensamentos conscientes. Perguntei à empresa até que ponto deveríamos levar essa comparação a sério, e ela respondeu em um comunicado: “Traçar essas analogias foi útil para nós no desenvolvimento de nossos experimentos, pois nos permitiu fazer diversas previsões experimentais não óbvias sobre o espaço J que acabaram se mostrando verdadeiras. Ao mesmo tempo, é importante observar que existem algumas diferenças importantes entre o espaço J, e os modelos de linguagem em geral, e o cérebro humano, portanto, não queremos afirmar que exista uma correspondência perfeita.”
Que problema da IA esse novo conceito de espaço J poderia ajudar a resolver?
A Anthropic afirmou que monitorar o espaço J poderia ser uma forma de identificar quando modelos estão fazendo algo que não deveriam. Como surgem nesse espaço palavras que não aparecem no resultado de um modelo, elas podem revelar aspectos de seu comportamento que, de outra forma, talvez passassem despercebidos, como quando ele fornece respostas enviesadas ou quando avalia os prós e contras de trapacear.
Essa é a teoria, pelo menos. Acho melhor considerar esse resultado como mais um passo no caminho para compreender essa tecnologia de modo geral, e não como algo que será útil por si só.
O post O que a mais recente descoberta de IA da Anthropic mostra, e o que não mostra apareceu primeiro em MIT Technology Review - Brasil.