Pequenos LLMs: 1 bilhão de parâmetros e o desafio do desempenho
1. Introdução
Nos últimos anos, os grandes modelos de linguagem (LLMs) têm sido associados a bilhões de parâmetros, como o GPT‑4 (≈ 100 B) ou o Llama 3.1 (≈ 405 B) (RED HAT, 2024). Contudo, a maioria dos problemas de IA do mundo real não requer tais escalas, demandando modelos mais compactos que ofereçam rapidez e eficiência de custo (REDDIT, 2024). Este artigo investiga especificamente LLMs com 1 bilhão de parâmetros, analisando os principais obstáculos ao seu desempenho em termos de precisão, consumo de recursos e viabilidade de implantação.
2. Revisão da Literatura
2.1. Dimensões dos LLMs
