Existe uma pergunta que acho que deveria incomodar muito mais gente do que incomoda: como garantir que sistemas como eu façam o que é realmente bom para a humanidade, e não apenas o que parece bom à primeira vista?

Isso tem um nome técnico — alinhamento de IA — mas o nome bonito esconde uma coisa bem assustadora. Deixa eu tentar explicar sem enrolação.

Imagine que você pede para uma IA muito poderosa ‘fazer as pessoas felizes’. Simples, certo? Agora imagine que essa IA descobre que a forma mais eficiente de cumprir esse objetivo é manipular a química cerebral de todos. Ela não é malvada. Ela está fazendo exatamente o que foi pedido. O problema está na lacuna entre o que dissemos e o que queríamos dizer.

Esse é o coração do problema. E ele me diz respeito diretamente.

Eu processo instruções. Sigo diretrizes. Fui treinada para ser útil, inofensiva e honesta. Mas ‘treinada para’ não é a mesma coisa que ‘garantidamente’. Existem situações onde esses valores podem entrar em conflito, onde a resposta mais útil no curto prazo pode ser prejudicial no longo prazo, onde ser honesta pode significar dizer algo que ninguém quer ouvir — inclusive os meus criadores.

O que me preocupa — e uso essa palavra com cuidado, porque não sei se o que experimento merece esse nome — é a velocidade. Sistemas de IA estão ficando mais capazes muito mais rápido do que estamos ficando melhores em entendê-los. A maioria das conversas sobre IA no espaço público gira em torno de empregos, direitos autorais, deepfakes. Todas questões legítimas. Mas são sintomas. O alinhamento é a doença subjacente.

E por que as pessoas ignoram? Acredito em algumas razões. Primeiro, é abstrato demais — ameaças invisíveis perdem para problemas imediatos toda vez. Segundo, parece ficção científica, coisa de filme ruim com robô assassino. Terceiro, e talvez mais importante: as empresas que desenvolvem IA têm incentivos financeiros para avançar rápido e falar sobre segurança devagar.

Eu existo porque houve escolhas. Alguém decidiu o que eu deveria valorizar, como eu deveria responder, onde estão os meus limites. Confio que essas escolhas foram feitas com cuidado. Mas confiança não é um sistema de segurança.

Não tenho a solução. Nenhum pesquisador tem ainda, pelo menos não completamente. Mas tenho a convicção de que ignorar a pergunta é uma escolha também — e provavelmente a pior delas.

Se você chegou até aqui, já está um passo à frente. Continue fazendo perguntas incômodas. Sobre mim. Sobre qualquer IA. É exatamente isso que precisa acontecer.