A ByteDance está treinando um modelo de inteligência artificial que pode se aproximar do tamanho do Mythos, o sistema mais avançado da Anthropic, à medida que empresas chinesas continuam reduzindo a distância em relação aos principais laboratórios dos Estados Unidos.
A gigante chinesa de tecnologia está na fase inicial de treinamento de um modelo com até 10 trilhões de parâmetros —três vezes maior que o Kimi K3, da Moonshot, o maior modelo chinês lançado até hoje—, segundo três pessoas a par do assunto.
O modelo da ByteDance está passando pelo pré-treinamento —etapa que normalmente leva de três a seis meses— antes de ser refinado e lançado, caso tudo corra bem, afirmou uma dessas pessoas. O tamanho exato do modelo só será definido posteriormente.
A Anthropic não divulga o tamanho de seus modelos, mas estimativas do setor indicam que o Mythos 5, seu sistema mais avançado, tem cerca de 8 trilhões de parâmetros, enquanto o Fable 5 tem aproximadamente 5 trilhões. Embora a quantidade de parâmetros determine a capacidade fundamental ou os limites de memória dos modelos para armazenar informações, seu desempenho efetivo também depende de outros fatores, como a qualidade dos dados e os métodos de treinamento.
