Chi comprende come funziona un LLM formula domande più precise ai fornitori, scrive prompt più efficaci, sa quando un progetto richiede un fine tuning e quando invece è sufficiente un sistema di retrieval ben congegnato, legge un preventivo con maggiore consapevolezza, riconoscendo il valore reale di una soluzione AI-Powered.LLM sta per “Large Language Model”, vale a dire “grande modello linguistico” e indica una categoria di modelli di intelligenza artificiale progettati per elaborare e generare testo attraverso l’analisi delle relazioni statistiche tra le parole e i concetti presenti nei dati di addestramento. Tra gli esempi più noti troviamo ChatGPT, Claude, Gemini e numerosi modelli OpenSource.Reti neurali e transformerUn LLM è una rete neurale artificiale, ossia un sistema matematico composto da unità di calcolo elementari, detti neuroni, organizzate in più strati. Ogni neurone riceve una serie di valori numerici in ingresso, li moltiplica per coefficienti chiamati pesi, somma i risultati ottenuti e passa l’esito allo strato successivo.Tutta la conoscenza del modello risiede nei valori di quei pesi, che vengono regolati durante la fase di addestramento. Quando si dice che un modello ha 70 miliardi di parametri, significa che usa circa 70 miliardi di numeri per codificare la propria conoscenza. Leggendo la sigla di un modello come Llama-3-70B o Qwen-72B si può facilmente identificare il numero di parametri indicato in miliardi (“B” sta per billion) e quindi stimarne le capacità.Fino a circa un decennio fa, le reti neurali applicate al linguaggio elaboravano il testo in modo sequenziale, una parola dopo l’altra. Quest approccio, però, rendeva difficile mantenere memoria del contesto nelle sequenze lunghe: le informazioni presenti all’inizio di una frase tendevano a perdere rilevanza prima di arrivare alla fine. Inoltre, questo tipo di elaborazione sequenziale impediva di sfruttare il calcolo parallelo delle GPU, con un impatto significativo sulla velocità.Nel giugno del 2017 otto ricercatori di Google pubblicano il paper “Attention Is All You Need”, introducendo l’architettura transformer, destinata a cambiare radicalmente il settore. L’idea centrale è elaborare tutte le parole di un testo contemporaneamente, in parallelo. Così facendo il modello riesce a cogliere le relazioni tra parole anche molto distanti tra loro, e il parallelismo accelera il processo.L’elemento chiave di questa architettura è il meccanismo di self-attention, che permette a ogni layer di valutare il contesto generale del testo da più punti di vista, assegnando un grado di rilevanza a ciascuna parola rispetto a tutte le altre della sequenza. Il calcolo si basa su tre proiezioni matematiche, tre vettori numerici, chiamati “query”, “key” e “value”, che consentono al modello di stabilire le relazioni tra tutti gli elementi del prompt.Poiché la self-attention confronta ogni parola con tutte le altre, il costo computazionale cresce con il quadrato della lunghezza del testo: raddoppiare un documento quadruplica, in prima approssimazione, il lavoro della macchina. Ecco spiegata la “finestra di contesto”, il tetto massimo di testo che il modello elabora in una singola interazione, ed ecco perché lavorare su documenti lunghi costa di più.Embedding, vettori e spazi semanticiUn computer elabora numeri, quindi prima che un modello linguistico possa lavorare su un testo è necessario tradurlo in forma numerica. Questo processo avviene in due passaggi.Il primo è la tokenizzazione, durante la quale il testo viene spezzettato in unità chiamate token, che possono corrispondere a parole intere, frammenti di parola o singoli caratteri. I fornitori di API basano i costi di utilizzo sul numero di token e le finestre di contesto si misurano in token.Il secondo passaggio è l’”embedding”. Ogni token viene convertito in un vettore, ossia una sequenza di centinaia o migliaia di numeri che rappresentano coordinate in uno spazio geometrico multi-dimensionale, detto “spazio semantico”, dove la posizione riflette le relazioni di significato. Parole con significati affini occupano posizioni vicine: “fattura” e “ricevuta” saranno geometricamente prossime, mentre “fattura” e “bicicletta” risulteranno distanti.È possibile rappresentare anche relazioni complesse: in un esempio diventato un classico negli studi sul tema, la differenza vettoriale tra “re” e “uomo”, sommata a “donna”, produce un risultato vicino a “regina”.Queste relazioni geometriche sono alla base della ricerca semantica e della RAG (Retrieval-Augmented Generation, generazione aumentata dal recupero), un processo che recupera da fonti esterne i documenti più pertinenti rispetto alla domanda posta dall’utente e li aggiunge al contesto del modello, migliorando la precisione della risposta.Dataset di addestramento e pre-trainingIl pre-training, la fase più impegnativa del processo di sviluppo di un LLM, determina la profondità delle conoscenze del modello, che apprende a generare testo di senso compiuto sulla base delle relazioni statistiche tra token.Al modello viene sottoposta un’enorme quantità di testo e gli viene chiesto, data una sequenza di token, di prevedere il successivo. Questo processo viene ripetuto per miliardi di volte. Per prevedere correttamente la parola successiva in testi che spaziano dalla letteratura ai manuali tecnici, il modello è costretto ad assorbire regole di grammatica, fatti, stili e strutture logiche. La conoscenza emerge così come sottoprodotto del compito di previsione.Questo approccio si chiama apprendimento auto-supervisionato: è il testo stesso a fornire sia la domanda che la risposta corretta, rendendo possibile l’addestramento su volumi enormi.Naturalmente, il modello eredita dai dati anche i loro difetti, squilibri e stereotipi. Per questo motivo, chiedere quali dati siano stati utilizzati e come siano stati filtrati è diventato sempre più importante, sia sul piano applicativo che su quello normativo: l’AI Act europeo impone ai fornitori di modelli di intelligenza artificiale di uso generale obblighi di trasparenza, incluso un riepilogo sufficientemente dettagliato dei contenuti di addestramento.Il modello che esce dal pre-training è chiamato “modello base” (o foundation model) ed è estremamente efficace nel completamento del testo, ma ancora non ottimizzato. Il post-training permette al modello di affinare le sue capacità e trasformarsi in uno strumento che genera contenuti di valore. Esistono varie tecniche di post-training: una delle più comuni è il Supervised Fine-Tuning (SFT), un addestramento supervisionato basato su esempi, che prosegue l’addestramento del modello su decine o centinaia di migliaia di coppie istruzione-risposta preparate da umani. In questo modo, il modello impara a rispondere alle domande, a seguire le istruzioni e ad adottare il tono più appropriato.La seconda famiglia di tecniche si chiama RLHF (Reinforcement Learning from Human Feedback o apprendimento per rinforzo da feedback umano), descritto da OpenAI nel lavoro sui modelli InstructGPT del 2022. Si fanno generare al modello più risposte alla stessa richiesta; successivamente, valutatori umani indicano la loro preferita e un secondo modello, chiamato “reward model”, impara a prevedere quelle preferenze. Negli anni sono emerse alternative più efficienti che si basano comunque sugli stessi principi di base del RLHF.Addestrare un modello significa correggerne i pesi, miliardi di volte, finché gli errori non si riducono al minimo. Con centinaia di miliardi di pesi, provare combinazioni casuali non sarebbe una strategia valida, per cui si usa il “gradient descent”, un algoritmo che, a ogni passaggio dell’addestramento, modifica ogni peso di poco alla volta nella direzione che riduce l’errore.Con la backpropagation (retropropagazione dell’errore) completa il processo: l’errore calcolato in uscita viene propagato all’indietro, strato per strato, consentendo di attribuire a ogni peso la propria responsabilità e di correggerlo proporzionalmente. Il ciclo completo di previsione, calcolo della perdita, retropropagazione e aggiornamento dei pesi viene ripetuto su miliardi di esempi, raggruppati in batch per sfruttare il parallelismo delle GPU.Il prompting: la sottile arte di comandare un LLMUna volta addestrato, il modello viene condizionato esclusivamente da ciò che entra nella finestra di contesto. Il prompt, ossia l’insieme di istruzioni e informazioni fornite, diventa quindi un’interfaccia di comando, che permette di condizionare la previsione del token successivo nella direzione corretta.Un LLM genera la continuazione più probabile del contesto ricevuto, quindi, un prompt ricco che definisce il ruolo del modello e specifica obiettivo, destinatario, formato, vincoli e tono, restringe lo spazio delle continuazioni possibili verso quelle più pertinenti. Mostrare nel prompt uno o più casi già risolti (few-shot prompting) è un’altra tecnica che sfrutta la capacità del modello di riconoscere e proseguire uno schema, ed è la via più rapida per ottenere un output che segue un formato preciso e ripetibile.Le architetture di AI generativa distinguono spesso tra “system prompt”, vale a dire le istruzioni di sistema che definiscono il comportamento e i limiti dell’assistente, e i messaggi dell’utente. Quando si costruisce un’automazione conversazionale, una componente fondamentale è la scrittura e il collaudo del system prompt, che dev’essere chiaro, completo e robusto, oltre che resistente alla prompt injection, ossia al tentativo di manipolare il modello inserendo istruzioni ostili nei contenuti che elabora.In un LLM il linguaggio è rappresentato geometricamente in uno spazio semantico, modellato con l’ausilio di un’enorme quantità di contenuti di ogni tipo prodotti da umani. Trasformare l’AI in una capacità operativa significa inquadrare i concetti generali di funzionamento di queste architetture e applicarli in un contesto specifico. Non si tratta di negoziare il prezzo di un abbonamento mensile, ma di costruire uno strumento strategico per sviluppare automazioni che generano valore.