A fraqueza inevitável das métricas

Download E-mail Enviar Há muitas coisas úteis que uma métrica pode revelar. Há ainda mais coisas que ela pode obscurecer ou corromper. Levei bem mais de uma década rastreando minha própria vida em detalhes cada vez maiores para apreciar plenamente essa dualidade, o que provavelmente revela algo tanto sobre mim quanto sobre a natureza da medição. Como muitas pessoas picadas pelo bichinho da autoquantificação, comecei inicialmente a reunir dados pessoais para perseguir um conjunto nebuloso de metas e desejos. Como jornalista de tecnologia sedentário, eu queria me sentir melhor física e emocionalmente, sair mais de casa e, quando possível, trazer ordem para um pouco da bagunça e da incerteza da minha existência diária. Tudo isso parecia ser algo que poderia melhorar com a clareza fria dos números. Os adeptos da autoquantificação costumam ser estereotipados como auto-otimizadores obsessivos (e muitos deles o são), mas minhas razões para produzir e coletar dados pessoais tinham menos a ver com maximização da vida e mais com o sentido da vida, pelo menos no início. Como a maioria das pessoas que me conhecem pode atestar, eu não tenho agora, nem jamais tive, uma “mentalidade de produtividade”. Também não tenho tanto interesse assim em macetes de vida, atalhos ou novas maneiras de me comparar com outras pessoas. Em vez disso, o que eu queria das métricas, o que eu esperava conseguir discernir de um fluxo interminável de números sobre minha saúde, meu trabalho e minha vida social, era algo mais difícil de alcançar: autoconhecimento. Esse foi meu primeiro erro. A ideia de que quanto mais sabemos, melhor é, está tão profundamente enraizada em nossa cultura, que parece estranho chamar atenção para isso. Pelo menos desde o Iluminismo, concordamos que a principal maneira de saber mais tem sido a medição e a quantificação. Afinal, mais conhecimento, mais dados, levam a decisões melhores, o que leva a pessoas mais felizes e mais realizadas. Pelo menos é o que dizem e com frequência cada vez maior na era da IA. Quando dois editores da revista Wired, Gary Wolf e Kevin Kelly, popularizaram o termo “eu quantificado” em 2007 e ajudaram a lançar o movimento do qual, agora, querendo ou não, todos fazemos parte, eles estavam vendendo exatamente essa ideia. “A menos que algo possa ser medido, ele não pode ser melhorado”, escreveu Kelly em uma das primeiras publicações de blog, fazendo sua melhor imitação de Lord Kelvin (um importante físico do século XIX a quem é atribuída a frase escrita por Kelly). “Então estamos em uma busca para coletar o máximo possível de ferramentas pessoais que nos auxiliem na medição quantificável de nós mesmos.” Quase 20 anos depois, essa busca está mais fácil do que nunca graças a uma enxurrada de dispositivos, aplicativos e sites, todos criados para nos ajudar a construir nosso autoconhecimento por meio de números. Minha primeira ferramenta foi um pequeno Fitbit (dispositivo de monitoramento da saúde) de plástico, de prender na roupa, que comecei a usar em 2011. Ele fazia uma coisa: contava o número de passos que eu dava em um dia. Como jogador de videogame a vida inteira, eu já estava bastante familiarizado com o poder motivacional de sistemas simples de pontuação. Esperava que meu novo aparelho oferecesse o leve empurrão numérico necessário para me afastar do feed do Twitter e, se não tocar a grama, ao menos caminhar perto de alguma. Caminhar também parecia ser um dos poucos momentos em que eu tinha o que, com boa vontade, poderia ser chamado de ideias inteligentes, outro subproduto promissor de fazer mais isso. Infelizmente, isso durou pouco. Não sei dizer com precisão quando “sair mais para a natureza” ou “ter pensamentos mais inteligentes” deixaram de importar para mim como metas, mas suspeito que não tenha levado mais do que algumas semanas. O que posso dizer, com certeza, é que minha meta inicial de 6 mil passos diários rapidamente se transformou em 10 mil, que então saltou para 15 mil e, por fim, se estabilizou em 20 mil por anos. Histórias sobre virar “o cara dos passos” já são clichês a esta altura e conquistaram esse status por um motivo. Não levou muito tempo para eu trocar pedômetros (aparelhos que contam passos) por monitores de frequência cardíaca (também comecei a correr), smartwatches, anéis de monitoramento do sono e uma quantidade constrangedora de aplicativos para tabular macronutrientes. Fora do campo da saúde e do condicionamento físico, o início da minha carreira como jornalista também coincidiu com a ascensão das redes sociais e de ferramentas de análise da web, como o Chartbeat, que prometiam quantificar ainda mais aspectos difíceis de medir da minha vida, como “sucesso profissional” e “impacto”, rastreando coisas como visualizações de página, seguidores, retweets, curtidas e todo tipo de outras métricas de atenção que carregam grande peso. As métricas inevitavelmente redefinem seu senso do que é importante, quer você esteja consciente da armadilha ou não. No fim das contas, durante os mais de dez anos em que acompanhei diligentemente minha frequência cardíaca, passos, calorias, sono, tempo de engajamento com reportagens, níveis de estresse e outras métricas, ganhei praticamente nada em termos de maior autoconhecimento. Suponho que tenha aprendido que eu gostava de fazer números subirem e descerem, mas quem não gosta? O turbilhão de dados que me seguia por toda parte não acrescentou significado nem percepção à maneira como me relaciono comigo mesmo, com meu trabalho ou com as pessoas importantes da minha vida. Na verdade, quanto mais eu usava substitutos numéricos, pior me sentia em relação a praticamente tudo. O que aprendi foram duas lições importantes sobre o que acontece quando você tenta quantificar as minúcias da sua vida. Em primeiro lugar, e acima de tudo, qualquer que seja a quantidade de dados que você esteja coletando sobre si mesmo agora, ela nunca parecerá suficiente. Há sempre uma nova métrica na esquina, uma maneira melhor de um rastreador recombinar suas leituras e medir com mais precisão o que é “importante”: variabilidade da frequência cardíaca, estresse diário, “prontidão” para o exercício, idade cardiovascular ou de “fitness”. Medição gera mais medição. Pode contar com isso. A segunda lição era menos óbvia, mas não menos significativa. Quanto mais pessoais ou cheias de nuances forem as metas ao iniciar sua jornada de autoquantificação, maior será a probabilidade de você acabar fazendo a substituição por alguma métrica ou classificação simplificada. Quer se tornar um jornalista melhor? Por que não usar visualizações de página e rankings como substitutos para o sucesso? Gosta de cozinhar e quer melhorar? As métricas gastronômicas ditam que receitas mais complicadas, com listas de ingredientes mais longas, são a resposta. Mesmo quando sabemos que o valor do bom jornalismo não se reflete em quantas pessoas leem uma determinada reportagem, ou que os prazeres de cozinhar têm tanto a ver com improvisação e experimentação quanto com seguir com sucesso alguma receita complexa, é difícil resistir ao fascínio de uma pontuação ou estatística simples. As métricas inevitavelmente redefinem seu foco sobre o que é importante, quer você esteja consciente da armadilha ou não. Ao longo dos anos, as pessoas inventaram vários termos para descrever esse fenômeno. No recente livro “The Score: Como parar de jogar o jogo de outra pessoa,” o filósofo C. Thi Nguyen o chama de “captura de valor”. A captura de valor acontece, diz ele, quando você adota fontes externas de medição e então as deixa governar sem adaptá-las à sua vida. “Na captura de valor, você está essencialmente terceirizando seus valores”, escreve Nguyen. “Você está deixando uma métrica ou classificação externa definir o que é importante para você.” Crucialmente, você também está terceirizando o processo de descobrir seu próprio senso de significado. É por isso que minhas caminhadas rapidamente deixaram de parecer meditativas e passaram a priorizar milhas. Indivíduos, instituições e, de fato, sociedades inteiras podem ser vítimas da captura de valor. Na verdade, quando você começa a percebê-la, passa a vê-la em todos os lugares: no jornalismo, na educação e nos negócios, mas também na nossa comida, nos nossos hobbies e, sim, na forma como medimos nossa saúde e felicidade. Eis como Nguyen coloca a questão: “A captura de valor acontece quando um restaurante para de se importar em fazer boa comida e começa a se importar em maximizar suas avaliações no Yelp (site focado em avaliações de estabelecimentos e serviços). Acontece quando estudantes param de se importar com educação e começam a se importar com seu GPA (Grade Point Average, média geral das notas de um estudante, usada nos EUA). Acontece quando cientistas param de se importar em encontrar a verdade e começam a se importar em conseguir as maiores bolsas. Acontece até na religião. Um pastor me disse recentemente que a igreja havia ficado completamente obcecada por taxas de batismo. Os superiores haviam criado um ranking interno no qual os pastores competiam pelas taxas mensais de batismo e isso estava começando a dominar a atenção de todos. Ele se viu se importando menos com o desenvolvimento espiritual de longo prazo de seu rebanho e se concentrando mais em tentar fazer sermões populares que aumentassem as taxas de batismo e o levassem a subir naquele ranking. Em essência, The Score está tentando destrinchar um mistério sobre o qual Nguyen, especialista em filosofia dos jogos na Universidade de Utah, vem pensando há muito tempo: por que números e sistemas de pontuação em jogos podem ser fonte de tanta alegria, fluidez e brincadeira, mas medidas públicas e métricas institucionais, isto é, pontuações que se aplicam ao mundo real, parecem drenar a vida de tudo e nos empurrar para uma mentalidade sombria de otimização exaustiva? Para começar a responder a essa pergunta, ele recorre a uma das investigações fundamentais sobre os limites dos dados e da quantificação: o livro de Theodore M. Porter, de 1995, “Trust in Numbers: The Pursuit of Objectivity in Science and Public Life” (“Confiança nos números: a busca pela objetividade na ciência e na vida pública”, em livre tradução) Porter, um historiador da ciência especializado no poder social dos números, dedicou a carreira a examinar por que a quantificação se tornou tão dominante, não apenas na vida política e burocrática, mas em todos os lugares. Uma de suas principais percepções sobre a atratividade inerente da quantificação, que ele chama de “uma tecnologia da distância”, é que ela “minimiza a necessidade de conhecimento íntimo e confiança pessoal”. Dito de outra forma, métricas viajam extremamente bem entre diferentes contextos e são fáceis de compreender e agregar. Seja o GPA de um estudante ou o PIB de um país, essas medidas são compreendidas por praticamente todo mundo. Mas essa compreensão vem a um preço, lembra Porter: para chegar a uma métrica clara, você inevitavelmente precisa simplificar aquilo que está tentando medir, muitas vezes descartando montes de informações com nuances, qualitativas ou não delimitadas para que outros consigam achar o número resultante legível. Ninguém, assim esperamos, acredita que um GPA capture de maneira significativa toda a experiência educacional de um estudante ou a aptidão para aprender, mas concordamos em usá-lo porque avaliações mais qualitativas são trabalhosas de examinar e exigem expertise para serem decifradas e comparadas. O mesmo vale para a métrica econômica do PIB, que políticos e sociedades agora se veem compelidos a elevar cada vez mais, porque um grupo de economistas concluiu certa vez que esse número se correlaciona com o bem-estar econômico geral. Essa é a tensão essencial no cerne de todos os dados, argumenta Nguyen. Qualquer quantificação institucional, diz ele, exige que o procedimento de avaliação e seu produto sejam compreensíveis entre contextos. Isso limita profundamente o que a métrica pode, de fato, medir. “Na captura de valor, em última instância, você está pegando esse fragmento descontextualizado e o internalizando”, escreve ele. “Você está guiando sua vida usando uma tecnologia avaliativa que foi projetada para viajar entre contextos, ao ser despojada de nuance.” De tempos em tempos, me vejo em um debate amigável com uma “pessoa dos números”… um estatístico, um economista ou um amigo que ainda é um autoquantificador convicto. Eles ouvem pacientemente meus exemplos de medição que deram errado, como a tentativa desastrosa de quantificar a dor como “o quinto sinal vital” em meados dos anos 1990 (que exacerbou a epidemia de opioides), ou da falácia de McNamara (referência ao ex-secretário de Defesa dos Estados Unidos conhecido por tentar avaliar o sucesso militar na Guerra do Vietnã com base em métricas quantitativas, como número de soldados mortos ou armas apreendidas). Após minhas explicações, muitos insistem que estou entendendo mal ou interpretando equivocadamente todo o objetivo de medir. Métricas, dirão eles, são simplesmente um meio, e as perguntas importantes dizem respeito aos fins para os quais são usadas. Em outras palavras, esses resultados infelizes equivalem a erro do usuário, não a algo inerentemente perigoso ou enganoso sobre a natureza da medição. Em algum momento durante essas conversas, a Lei de Goodhart invariavelmente aparece, em geral como uma explicação que os adeptos das métricas usam para justificar por que os fins ficam todos deturpados. O princípio, atribuído ao economista britânico Charles Goodhart, costuma ser expresso da seguinte forma: “Quando uma medida se torna uma meta, ela deixa de ser uma boa medida.” Tenho uma profunda antipatia pela Lei de Goodhart, não porque ache que ela seja falsa, mas pela forma como é interpretada. Como Nguyen observa, a Lei de Goodhart diz muito pouco sobre por que as métricas falham em capturar o que é importante, ou sobre o que fazer a respeito. Encontrem medidas melhores, alguns concluirão. Não deixem que métricas se tornem metas, outros insistirão. Essas não são conclusões úteis. Eu argumentaria que todas as medições são, na verdade, metas, quer você pretenda isso ou não. Métricas inevitavelmente apresentam uma direção ou opção como melhor, escreve Nguyen em The Score, “vidas mais longas, taxas de graduação estudantil mais rápidas, mais visualizações de página, pontuações mais altas de satisfação do cliente”. O que as pessoas estão discutindo quando mencionam a Lei de Goodhart não é erro humano; é, na verdade, um problema fundamental da própria medição. Quero ser claro aqui: a medição pode cumprir, e cumpre, uma série de funções vitais. Em um sentido muito literal, ela tornou possível o mundo moderno, com todos os seus avanços científicos que salvam vidas, reduzem sofrimento e são impressionantes. Quando usadas com cuidado e diligência, métricas podem tornar nosso progresso, ou a falta dele, mais claro e mais transparente. Estamos reduzindo as emissões de dióxido de carbono ou não? Elas também podem apontar responsabilização em sistemas antes opacos, como ao medir se uma empresa está cumprindo regulamentações estaduais e federais. Podem até nos tornar mais objetivos, reduzir vieses e nos impulsionar a agir. Mas, como Nguyen aponta ao longo de The Score, a fraqueza fundamental das métricas aparece quando as usamos para perseguir objetivos mais sutis e mais pessoais. O que acho que muitos de nós deixamos escapar (o que sei que certamente deixei escapar), é que sempre há compensações quando você tenta reduzir algo importante a um dado isolado. Quando recorremos a métricas para entender a nós mesmos, nosso mundo social e a cultura como um todo, elas jamais chegarão perto de capturar o que importa. Pior ainda, muitas vezes vão tornar isso mais obscuro. Hoje, acho que os números têm muito pouco a oferecer quando se trata do meu trabalho diário, do meu condicionamento físico ou mental, dos meus relacionamentos ou de qualquer outra parte da minha vida que considero importante. É verdade que tenho a sorte de estar com a saúde razoável no momento. Não preciso monitorar meus níveis de glicose nem minha pressão arterial. Sendo escritor freelancer, também tenho o luxo de não precisar de números como indicadores-chave do meu desempenho (KPIs, key performance indicators), objetivos e resultados-chave (OKRs, objectives and key results), ou qualquer uma das intermináveis avaliações quantitativas que vêm embutidas em praticamente todo emprego corporativo e da economia de trabalhos temporários ou plataformizados (conhecida como gig economy, a “economia de bicos”). Ainda assim, em um sentido muito real, não há como escapar das métricas ou, especialmente, da lógica que as acompanha. Conhecer tornou-se algo numérico e todos nós vivemos em um mundo que cada vez mais nos vê como uma coleção de números, como “sujeitos de dados”. O primeiro e mais urgente desafio, eu sugeriria, é encontrar uma maneira de impedir que vejamos a nós mesmos e uns aos outros dessa forma. Isso não será fácil. Como Porter, Nguyen e outros inúmeros filósofos, antropólogos e historiadores já observaram, a linguagem dos números é, em grande medida, a forma como atribuímos valor hoje, bem como a forma como digerimos e metabolizamos nossas relações conosco, com os outros e com o mundo ao nosso redor. De fato, muitos de nós aceitamos não apenas que as métricas têm uma existência natural nos assuntos humanos, mas ainda que, na verdade, não há aspectos da vida humana que não possam ser, de alguma forma, traduzidos em dados. Conhecer tornou-se algo numérico e todos nós vivemos em um mundo que cada vez mais nos vê como uma coleção de números, como “sujeitos de dados”. Então, como resistir? O livro de Nguyen oferece um primeiro passo útil. Como ele observa repetidas vezes em The Score, acreditar que os números dizem algo real ou útil sobre necessidades e desejos humanos lhes dá poder. Podemos, no mínimo, começar a questionar seriamente essa crença, a perguntar de que significado e prazer talvez estejamos abrindo mão ao buscar uma métrica. Fazer isso, espera-se, levará à outra percepção: a de que jogar o jogo dos números é, em última instância, uma proposta perdedora para os humanos. Se insistirmos em expressar nossa importância por meio de métricas de atenção e pontuações de produtividade, se continuarmos a transformar inteligência e criatividade em uma série de parâmetros para a IA superar, já teremos perdido. É claro que as máquinas nos superarão em um mundo construído em torno de métricas. É literalmente para isso que as criamos. A resposta não é nos transformarmos em máquinas também. Se há uma coisa que me tira o sono, é que nos acostumamos tanto a ver e entender o mundo e a nós mesmos por meio de números, que isso nos privou da linguagem para expressar o que há de fundamental e valioso em nossa própria humanidade. Agora, precisamos dessa habilidade mais do que nunca, especialmente se quisermos responder adequadamente a duas das perguntas mais importantes da nossa era: para que servem os humanos? E para que serve a Inteligência Artificial? Como parte das minhas próprias tentativas de me desvencilhar de uma vida de números, esforços que começaram pouco antes da Covid, abandonei a maioria das ferramentas de medição que passei uma década colecionando. Desisti das redes sociais. Parei de usar aplicativos para monitorar minha saúde e meu bem-estar. O relógio que uso hoje me diz a hora e a data, nada mais. Na verdade, o único resquício dos meus dias de autoquantificação obsessiva é uma devoção dogmática à caminhada, sem toda a contagem de passos, claro. Hoje em dia, caminho quando estou me sentindo desiludido ou sobrecarregado; caminho quando não consigo descobrir como terminar um artigo; também caminho porque gosto de passar tempo ao ar livre com meu cachorro e de me atualizar sobre os detalhes da vida dos meus vizinhos. Os benefícios de perseguir essa atividade diária são tão claros e óbvios para mim quanto qualquer coisa poderia ser na vida. Só não consigo expressá-los em um número. O post A fraqueza inevitável das métricas apareceu primeiro em MIT Technology Review - Brasil.