A noção de que os grandes modelos de linguagem preveem a próxima palavra é a mais disseminada e a mais equivocada maneira de descrever seu funcionamento.
LLMs são treinados em duas fases. Na primeira, uma rede neural recebe trilhões de trechos da internet com buracos no meio e tenta preenchê-los. Cada tentativa é comparada com o que estava no texto original, o acerto vira pontuação e o processo se repete até o modelo preencher bem as lacunas de qualquer assunto. Isso é previsão do próximo token (ou palavra) no sentido estrito, e é daí que vem a fama da IA de ser um grande "autocomplete".
Na segunda fase, entram outros métodos de aprendizado, para que o algoritmo aja como querem seus fabricantes. Restrições temáticas, puxa-saquismo, respostas padronizadas sobre a própria consciência, tudo é moldado nesta etapa, que hoje concentra grande parte do dinheiro e do esforço científico e reduz dramaticamente o peso relativo do "autocomplete".
Mas o ponto decisivo é outro. Se aquilo que vemos na tela fosse fruto de previsão, aconteceria o seguinte: você descreveria ao Claude um experimento de química e pediria o resultado, que seria calculado pela seleção correta de cada uma das palavras, letras e números até o final, a despeito do fato de as sequências possíveis superarem os átomos do universo.
