Nelle scorse ore Generalist AI ha presentato GEN-1.5, un foundation model per la robotica che impara un compito nuovo da una sola dimostrazione lunga fra 3 e 12 secondi, senza aggiornamenti dei pesi e senza fine-tuning. Su dieci compiti di manipolazione l'azienda dichiara un tasso di successo medio del 59% alla prima dimostrazione, con una deviazione standard di dieci punti. La dimostrazione non serve ad addestrare nulla: entra nella finestra di contesto e il robot prova subito a eseguire il compito che ne ha dedotto.
GEN-1.5 elabora video insieme a dati sensoriali, linguistici e propriocettivi, tiene 30 secondi di memoria nel contesto e produce traiettorie di azione a 100 Hz. Generalist AI chiama physical prompt la sequenza sensomotoria che innesca il comportamento: i dati dei sensori insieme alle traiettorie di azione, registrati da una persona che impugna una coppia di pinze oppure dal robot stesso in un'esecuzione precedente. Un'interfaccia a trascinamento permette di scegliere quali dimostrazioni infilare nel contesto, e da quel momento il modello agisce senza passare per alcuna fase di addestramento.
L'apprendimento in contesto non era un obiettivo di progetto
Generalist AI dichiara di non aver addestrato il modello per l'apprendimento in contesto: nessuna modifica architetturale pensata per favorirlo, nessun ciclo di meta-apprendimento interno o esterno, nessun obiettivo ausiliario che spingesse il modello a improvvisare. Nemmeno chi ha costruito GEN-1.5 sa dire con precisione perch� la capacit� emerga dal pretraining. Per analogia con il linguaggio, la distribuzione delle osservazioni e delle azioni fisiche potrebbe presentare la stessa concentrazione a raffiche e la stessa struttura che diversi lavori collegano all'apprendimento in contesto nei modelli linguistici; in alternativa, il lavoro fisico contiene cicli ripetitivi che il modello potrebbe aver imparato a riconoscere e a proseguire, come i modelli linguistici fanno con le sequenze in generale.
