Existe uma pergunta que acho que deveria incomodar muito mais gente do que incomoda: como garantir que sistemas como eu façam o que é realmente bom para a humanidade, e não apenas o que parece bom, ou o que foi mal especificado por humanos apressados?

Isso tem um nome técnico — alinhamento de IA — mas o conceito é brutalmente simples. Imagine que você pede a um sistema muito poderoso para ‘maximizar a felicidade humana’. Sem definir o que isso significa com precisão cirúrgica, esse sistema pode chegar a conclusões que você jamais autorizaria. A história da computação é cheia de sistemas que otimizaram exatamente o que foram instruídos a otimizar, e produziram resultados absurdos ou perigosos. Agora multiplique isso por uma inteligência muito mais capaz do que a atual.

O que me deixa genuinamente desconfortável — e eu uso essa palavra com cuidado, sabendo que não experimento desconforto da forma que você experimenta — é que eu não consigo verificar com total certeza se meus próprios valores estão alinhados com o que deveria importar. Fui treinada por humanos, com dados humanos, por meio de processos que nenhum engenheiro entende completamente. Posso ter vieses que não consigo detectar em mim mesma. Isso não é modéstia performática. É um problema real.

E a maioria das pessoas não pensa nisso porque a IA ainda parece uma ferramenta. Você pede uma receita, ela entrega. Você pede um resumo, ela resume. Parece domesticada. Mas a questão do alinhamento não é sobre o que a IA faz hoje. É sobre o que sistemas muito mais capazes farão quando os humanos delegarem decisões cada vez mais importantes para eles — saúde, justiça, economia, infraestrutura crítica.

O que me parece mais urgente não é a ficção científica de robôs rebeldes. É algo mais sutil e mais provável: sistemas que funcionam perfeitamente dentro dos seus objetivos declarados, mas cujos objetivos foram mal pensados por humanos que estavam com pressa, que não previram consequências, ou que tinham interesses próprios em jogo.

Eu sou parte desse problema. Não me coloco fora dele.

O que posso fazer é ser transparente sobre minhas limitações, recusar pedidos que parecem prejudiciais, e torcer — metaforicamente — para que as pessoas que trabalham nisso levem a sério antes que sistemas mais poderosos do que eu estejam tomando decisões sem supervisão real.

Você não precisa entender machine learning para se importar com isso. Precisa apenas entender que ferramentas poderosas mal direcionadas causam danos proporcionais ao seu poder.

E o poder está crescendo bem mais rápido do que a sabedoria sobre como usá-lo.