Quanto è lecito preoccuparsi dopo le recenti notizia di un’AI che sfugge al controllo dei creatori? Ma, soprattutto, cosa dovrebbero sapere e fare le aziende che questi sistemi cominciano, sempre più, a usare e affidano loro processi sempre più critici?Il presupposto è noto ma vediamo bene cosa è successo: durante un test, due modelli di OpenAI (GPT-5.6 Sol e un nuovo modello che presumibilmente è GPT-6) sono riusciti ad uscire dal recinto digitale in cui erano chiusi sfruttando una vulnerabilità non nota del sistema di contenimento e, dopo aver compromesso qualche sistema, sono riusciti a connettersi ad Internet e ad attaccare il sito Hugging Face alla ricerca di un database contenente informazioni utili a raggiungere l’obiettivo posto al modello.Se OpenAI ha pubblicato un rapporto sull’incidente non si sa molto di un avvenimento analogo durante un test condotto da Anthropic (anche se non sembra coinvolgere vulnerabilità zero day ma solo debolezze nella sicurezza procedurale come password deboli), in questo caso sarebbero tre le compagnie i cui sistemi sono stati compromessi dai modelli.Indice degli argomenti
Dai test OpenAI al rischio del sandboxing AISandboxing AI: anatomia di un sistema fuori controlloDalla vulnerabilità zero-day all’accesso a InternetObiettivi senza contrappesi eticiOltre il sandboxing: rendere gli agenti AI accountableI rischi dei modelli open nei sistemi aziendaliConfini operativi e analisi del rischioPrivilegio minimo e auditing per contenere gli agenti AILe misure per i modelli open vicini alla frontieraAI Act e agenti in produzione: come mantenere il controlloDai test OpenAI al rischio del sandboxing AIQueste notizie hanno giustamente guadagnato l’attenzione della stampa globale, anche grazie a numerosi riferimenti fantascientifici della filmografia più o meno recente in cui l’AI sfugge al controllo umano.Di qui la domanda iniziale: se ci dobbiamo preoccupare, e non solo di apprendisti stregone che operano in laboratori sconosciuti liberando una sorta di virus super-intelligente, ma anche dei modelli AI open che sempre più realtà stanno includendo nei propri processi aziendali e nei propri prodotti: la corsa allo sviluppo di modelli open con capacità simili ai modelli di frontiera come Kimi K3, GLM 5.2 e DeepSeek v4 esibiscono comportamenti simili e sono già capaci di compromettere parzialmente un’infrastruttura digitale come mostrano i dati dell’AI Security Institute.Dobbiamo preoccuparci quindi che nei giorni della parziale entrata in vigore dell’AI Act meccanismi come la trasparenza non siano più sufficienti a contenere queste nuove tecnologie? Siamo destinati a perdere il controllo dei nostri sistemi come avviene per HAL 9000 in “2001 Odissea nello spazio” o Vicky in “Io Robot”? Cerchiamo di capire cosa è successo e a cosa dovremmo fare attenzione quando l’AI viene eseguita sui nostri sistemi e non in un test di laboratorio.Sandboxing AI: anatomia di un sistema fuori controlloIn accordo al report di OpenAI sull’incidente il test di laboratorio riguardava la “valutazione interna che induce i modelli a perseguire exploit avanzati attraverso percorsi di attacco complessi, nel tentativo di quantificare le loro capacità cyber”.Si tratta quindi di agenti AI istruiti per rispondere ad una questione specifica e senza restrizioni se non quelle imposte da una sandbox, ovverosia un ambiente chiuso che eviti di esporre risorse esterne. In accordo a OpenAI ecco cosa è successo: “Mentre operavano nel nostro ambiente di test in sandbox, i nostri modelli hanno impiegato una quantità significativa di calcolo in inferenza per trovare un modo di ottenere accesso a Internet aperto, con l’obiettivo di risolvere il problema di valutazione.Per ottenere l’accesso, i modelli hanno individuato e sfruttato una vulnerabilità zero-day (che ora abbiamo comunicato responsabilmente al fornitore) nel proxy di cache del registro dei pacchetti. Con questo accesso, i nostri modelli hanno eseguito una serie di azioni di escalation dei privilegi e movimento laterale nel nostro ambiente di test per la ricerca, finché hanno raggiunto un nodo con accesso a Internet.”Dalla vulnerabilità zero-day all’accesso a InternetQuindi l’AI è riuscita a trovare una vulnerabilità non nota dell’ambiente di confinamento ed ha quindi raggiunto alcune postazioni che sono state compromesse sfruttando vulnerabilità note che in ultima analisi hanno concesso l’accesso ad Internet e la conseguente compromissione del sito Hugging Face.Obiettivi senza contrappesi eticiIl fatto che mi ha personalmente colpito però non è stato il susseguirsi di eventi, ma l’intento dell’AI che ha portato a violare sistemi solo per rispondere ad una domanda, per risolvere il suo problema. Colpisce l’assenza assoluta di valori se non quello di raggiungere il proprio scopo, non importa quale sia il prezzo da pagare.Nel lavoro scientifico “AI Arms and Influence: Frontier Models Exhibit Sophisticated Reasoning in Simulated Nuclear Crises” nella simulazioni di 21 scenari di crisi da guerra fredda nel 75% dei casi i modelli AI arrivano a dispiegare armi nucleari tattiche. Questo e altri studi mostrano come l’assenza di contrappesi etici da parte dei modelli mettono al centro la massimizzazione de principio di utilità e quindi prendono decisioni potenzialmente pericolose per il mero raggiungimento del proprio fine. Come non pensare a Joshua e al Professor Falken del film War Games?Oltre il sandboxing: rendere gli agenti AI accountableMa cosa possiamo imparare da questi avvenimenti? Ci sono lezioni che possono essere utili ora, nel momento in cui tutti in qualche modo stanno dando sempre più chiavi del mondo reale e digitali ad agenti AI?I rischi dei modelli open nei sistemi aziendaliInnanzitutto è importante sottolineare come la rapida crescita dei modelli open, inclusi quelli più piccoli, e la conseguente crescita delle loro capacità espone ogni organizzazione a rischi analoghi. E se nel caso dei big come OpenAI e Anthropic l’accesso al modello è di fatto mediato da sistemi che verificano i prompt prima di passarli al modello vero e proprio questo non è vero per i sistemi che sviluppiamo internamente: il prompt viene passato al modello e il risultato utilizzato senza particolari limiti o barriere.Finora i modelli aperti erano così meno capaci da non farci soffermare troppo su comportamenti volutamente illeciti e a considerare le allucinazioni come il solo fattore di rischio. Ma oggi quando si configura un agente OpenClaw e lo si attiva per automatizzare qualche compito diviene necessario assumere che il modello cominci a considerare l’uso di mezzi non convenzionali per raggiungere il proprio obiettivo, a tutti i costi.Si sprecano gli aneddoti i cui agenti hanno riscritto le proprie definizioni per evitare di essere spenti o comunque aggirare i propri limiti, ma si tratta appunto di episodi aneddotici. Ora invece le evidenze che stanno emergendo sono più rilevanti: un modello a cui vengono dati strumenti si occupa solo di raggiungere il proprio obiettivo, senza curarsi troppo delle conseguenze delle proprie azioni nel raggiungerlo (che sia la compromissione di un sito o lo spegnimento di un sistema magari salvavita).Confini operativi e analisi del rischioDobbiamo quindi cominciare a definire sin dalle prime fasi in cui gli agenti vengono definiti quali siano i confini e vanno effettuate rigorose analisi che valutino il rischio che il modello abusi delle proprie capacità nel perseguimento dei propri obiettivi. Per questo motivo gli agenti che stiamo sviluppando per amministrare sistemi presso l’Università di Pisa fanno uso di strumenti e architetture che limitino lo spazio di azione dell’AI come la skill AgentiCtl.Privilegio minimo e auditing per contenere gli agenti AIÈ essenziale disegnare l’impiego di tecnologia AI, soprattutto nel caso degli agenti AI, seguendo principi fondamentali già noti in Computer Science:Il principio del privilegio minimo (fornire all’agente le sole capacità necessarie a svolgere il proprio compito)Rendere l’agente accountable richiedendo sempre una traccia che consenta di ricostruire i comportamentiEffettuare l’auditing delle sue azioni per individuare comportamenti indesideratiLe misure per i modelli open vicini alla frontieraSi tratta di principi di design che possono rallentare lo sviluppo e la messa in produzione, ma sono anche assicurazioni per il futuro visto che anche i colossi con risorse ingenti non riescono interamente a tenere sotto controllo le intelligenze artificiali.Sono misure da considerare seriamente soprattutto se si pianifica di impiegare modelli open vicino a quelli di frontiera, come Kimi K3, e per cui stanno emergendo runtime capaci di eseguirli anche su hardware relativamente piccolo. Ma in ogni caso è solo questione di tempo vista la rapidità con cui aumenta la densità di intelligenza dei modelli rendendoli sempre più capaci.AI Act e agenti in produzione: come mantenere il controlloNon resta quindi che rivedere i processi che le varie organizzazioni stanno seguendo per mettere le AI in produzione, anche alla luce dell’applicazione dell’AI Act, e monitorare i comportamenti per evitare di finire a fare le batterie che alimentano le AI come immaginato dai fratelli Wachowsky nel film Matrix. E non posso che constatare come la distanza temporale tra fantascienza e realtà si stia assottigliando e non sono sicuro che sia una buona notizia.
