Capire che cosa sono i token aiuta a comprendere molti aspetti dei sistemi IA di uso comune. Per esempio, aiuta a comprendere perché una conversazione con un chatbot non può diventare infinitamente lunga, perché il numero delle parole è differente da quello dei token, perché il numero di token varia a seconda della lingua e perché molti servizi di IA hanno logiche di prezzo legate al numero di token utilizzati. Spieghiamo cos’è un token e come funziona senza fare ricorso a troppi tecnicismi.
Un token è una delle unità nelle quali un programma chiamato tokenizer divide il testo prima di consegnarlo ai modelli linguistici quali, per esempio, i modelli Gpt di ChatGpt di OpenAI, Claude di Anthropic o Gemini di Google.
È importante sapere che un token non coincide necessariamente con una parola, può coincidere con un pezzo di parola, un singolo carattere, un segno di punteggiatura oppure una sequenza che comprende anche uno spazio.
Un tokenizer dispone di propri dizionari (sistemi di decodifica), composti da decine o centinaia di migliaia di queste sequenze. Quando riceve un testo, cerca di rappresentarlo usando le voci disponibili nel suo vocabolario e sostituisce ciascuna di esse con un numero identificativo.
