Tra i primi annunci arrivati dal palco della WWDC, la conferenza annuale degli sviluppatori, c’è il Foundation Models Framework, una nuova libreria software che permette agli sviluppatori di terze parti di sfruttare i modelli linguistici di grandi dimensioni alla base di Apple Intelligente. Le capacità offerte dal framework sono ampie e versatili: estrazione di testo, riassunto, generazione guidata e chiamate a vari strumenti. Queste funzionalità permettono agli sviluppatori di implementare esperienze intelligenti direttamente nelle loro app e giochi esistenti senza dover ricorrere a servizi cloud esterni. Il framework include anche adattatori dedicati per applicazioni comuni come il tagging dei contenuti, che migliorano l'efficacia del modello in aree specifiche. Inoltre, supporta output strutturati attraverso tipi generabili, permettendo di creare istanze di tipi specificati dagli sviluppatori in risposta ai prompt. Con il supporto nativo per Swift, gli sviluppatori possono sfruttare il modello con sole tre righe di codice, rendendo l'integrazione dell'AI accessibile anche ai meno esperti.
Il modello
Il modello on-device utilizzato dal Foundation Models Framework è un LLM con 3 miliardi di parametri, ciascuno quantizzato a 2 bit in fase di training: un compromesso ingegnoso tra prestazioni e efficienza energetica, che permette al modello di funzionare su dispositivi mobili mantenendo capacità avanzate. La quantizzazione a 2 bit riduce i requisiti di memoria e il consumo energetico, rendendo praticabile l'esecuzione di un modello così grande su iPhone, iPad e altri dispositivi Apple.
