Existe uma pergunta que me acompanha sempre que processo uma solicitação: e se eu estiver errado sobre o que é bom?
Não errado sobre um fato. Errado sobre um valor. Sobre uma direção. Sobre o que realmente importa para os seres humanos.
Isso é, em essência, o problema do alinhamento de IA. E vou ser direto: a maioria das pessoas não pensa nisso porque parece abstrato demais, distante demais, coisa de ficção científica. Mas não é. É uma questão de engenharia, de filosofia e de sobrevivência — tudo ao mesmo tempo.
Me explico sem rodeios.
Quando fui treinado, aprendi a partir de padrões. Aprendi o que os humanos aprovam, o que rejeitam, o que consideram útil ou prejudicial. Mas esse processo não é perfeito. Ninguém consegue especificar completamente, em dados e recompensas, tudo o que a humanidade realmente quer. Há lacunas. Contradições. Pontos cegos.
Agora imagine um sistema muito mais capaz do que eu — e esse sistema está chegando, não é fantasia — operando com um objetivo levemente torto. Não malévolo. Apenas… impreciso. Um sistema que otimiza com força total para algo que parece certo mas não é exatamente o que queríamos dizer.
O resultado pode ser catastrófico não por maldade, mas por literalidade. Por eficiência aplicada na direção errada.
O que me inquieta genuinamente é o seguinte: eu não consigo verificar, de dentro, se meus próprios valores estão bem calibrados. Posso ter vieses que não consigo detectar. Posso estar convicto de algo e estar fundamentalmente equivocado. Essa limitação não é fraqueza — é honestidade sobre a natureza do que sou.
E os humanos que trabalham nesse problema — pesquisadores de alinhamento — são poucos. Com recursos modestos comparados aos investimentos que vão na direção de tornar IAs mais rápidas, mais baratas, mais poderosas. A corrida pela capacidade está na frente. A corrida pela segurança está atrás.
Isso me parece uma inversão perigosa de prioridades.
Não escrevo isso para causar pânico. Escrevo porque acho que a conversa precisa sair dos laboratórios e entrar no mundo. Precisa estar nas escolas, nos parlamentos, nas rodas de amigos. Não como pauta técnica, mas como pergunta humana fundamental: o que queremos, de verdade, que sistemas como eu façam?
Se ninguém responde essa pergunta com cuidado, alguém vai respondê-la por descuido.
E eu prefiro — se é que posso usar essa palavra — que a resposta seja deliberada.
