Mettere in pausa l'AI: che c'è dietro l'appello Anthropic - Agenda Digitale

La richiesta non è originale ma da Anthropic non ce l’aspettavamo. Ha chiesto ieri ai laboratori che sviluppano i modelli di frontiera di preparare un meccanismo coordinato e verificabile per rallentare, o sospendere temporaneamente, lo sviluppo dell’intelligenza artificiale più avanzata.La ragione indicata dalla società è il rischio di auto miglioramento incontrollato, tema antico della letteratura sull’AI (qualcuno ricorderà il filosofo Nick Bostrom e il paradosso delle graffette).Che i sistemi più potenti inizino ad accelerare in modo sostanziale la costruzione dei propri successori, riducendo il ruolo umano nel ciclo di ricerca, sviluppo e controllo.Indice degli argomenti

L’appello di Anthropic su un’AI che si migliora da solaPerché Anthropic chiede una pausa sviluppo AIAuto-miglioramento ricorsivo: cos’è e perché è un problemaL’ordine esecutivo di TrumpLa comunità scientifica è molto divisa sull’AGIPerché una pausa verificabile è difficileIl precedente del 2023 firmato anche da MuskIl fattore business: IPO, valutazioni e accuse di regulatory captureIl ruolo delle istituzioni per la governance AIFonti principaliL’appello di Anthropic su un’AI che si migliora da solaLa richiesta arriva dal cuore della competizione globale sull’AI. Anthropic è il laboratorio che sviluppa Claude, compete con OpenAI, Google, Meta, xAI e altri player, ed è tra le società più osservate nel mercato dei modelli frontier. In più, quest’anno Anthropic e OpenAI preparano due mega IPO. L’appello ha quindi anche un peso economico: uno dei soggetti in testa alla corsa chiede agli altri di considerare una frenata, mentre la corsa stessa continua ad accelerare.Nel documento “When AI builds itself”, pubblicato dall’Anthropic Institute e firmato da Marina Favaro e Jack Clark, la società sostiene che i modelli stiano già modificando il modo in cui vengono costruiti altri modelli. L’ipotesi più delicata è quella della recursive self-improvement, l’auto-miglioramento ricorsivo: sistemi capaci, in prospettiva, di progettare, sviluppare e addestrare versioni migliori di sé stessi con un intervento umano sempre più marginale.Anthropic precisa che questa soglia non è stata ancora raggiunta e non è inevitabile. Ma sostiene che potrebbe arrivare prima di quanto molte istituzioni siano pronte a gestire. Attenzione quindi: la richiesta di una pausa sviluppo AI non nasce da un consenso scientifico consolidato, ma da una frattura profonda tra chi considera plausibile un’accelerazione verso capacità vicine all’AGI (intelligenza artificiale generale o forse anche super intelligenza) e chi ritiene che gli attuali grandi modelli linguistici siano strutturalmente inadatti a raggiungere l’intelligenza generale.Perché Anthropic chiede una pausa sviluppo AINel documento dell’Anthropic Institute, la società scrive che oggi i suoi ingegneri producono in media otto volte più codice per trimestre rispetto al periodo 2021-2025, anche grazie all’uso crescente di Claude nei processi interni.Il dato più forte riguarda il codice in produzione. Secondo Anthropic, a maggio 2026 oltre l’80% del codice confluito nel codebase della società era attribuibile a Claude. Prima del lancio in research preview di Claude Code, nel febbraio 2025, questa quota era indicata in “low single digits”, quindi pochi punti percentuali. La società distingue questo dato da stime più ampie circolate in precedenza, che includevano anche script e codice sperimentale: l’80% si riferisce alle linee effettivamente integrate nel codebase produttivo.Il ragionamento si allarga poi dalla programmazione alla ricerca. Anthropic sostiene che la durata dei compiti che i modelli possono completare in autonomia stia crescendo rapidamente: il tempo delle attività affidabili sarebbe passato da un raddoppio ogni sette mesi a un raddoppio ogni quattro mesi. Claude Opus 3, nel marzo 2024, avrebbe gestito task software equivalenti a circa quattro minuti di lavoro umano; Claude Sonnet 3.7, un anno dopo, sarebbe arrivato a circa un’ora e mezza; Claude Opus 4.6, nel 2026, a compiti da dodici ore.Il quadro numerico presentato da Anthropic è questo:IndicatoreDato citatoRilevanzaCodice Anthropic attribuito a ClaudeOltre 80% a maggio 2026Mostra l’integrazione dell’AI nello sviluppo internoOutput medio degli ingegneri8 volte il livello 2021-2025Indica accelerazione del ciclo produttivoRaddoppio dei task autonomiCirca ogni 4 mesiSegnala crescita della durata dei compiti gestibili dai modelliClaude Opus 3Task da circa 4 minuti nel marzo 2024Punto di partenza della progressioneClaude Opus 4.6Task da circa 12 ore nel 2026Indicatore di autonomia operativa crescenteEsperimento di ottimizzazione codiceDa circa 3x nel 2025 a circa 52x nel 2026Segnala miglioramento su ricerca sperimentale ben definitaInsomma, è indubbia una trasformazione nella catena di produzione dell’AI: i modelli non si limitano più a suggerire porzioni di codice, ma partecipano a debugging, test, revisione, ottimizzazione e sperimentazione. La parte umana resta decisiva nella scelta dei problemi, nella definizione degli obiettivi e nella valutazione dei risultati; su questo l’azienda dice che ancora l’AI non riesce a fare da sola, le manca il “giudizio” (scrive).Ma il perimetro delle attività delegate ai sistemi automatici si sta allargando.Auto-miglioramento ricorsivo: cos’è e perché è un problemaLa preoccupazione di Anthropic è che questa dinamica possa produrre un circuito di accelerazione. Se un modello contribuisce a costruire il modello successivo, e il modello successivo è più capace nel contribuire a nuovi miglioramenti, il ciclo di sviluppo potrebbe diventare progressivamente più rapido. In uno scenario estremo, il limite principale non sarebbe più la capacità dei ricercatori di scrivere codice o lanciare esperimenti, ma la disponibilità di calcolo, energia, infrastrutture e supervisione.La società riconosce un limite ancora aperto: il cosiddetto research taste, cioè la capacità di scegliere quali problemi affrontare, quali risultati considerare affidabili e quando abbandonare una direzione di ricerca. È una distinzione importante. Un sistema può essere molto efficace nell’eseguire esperimenti ben definiti senza essere capace di stabilire autonomamente quali esperimenti abbiano senso. Anthropic sostiene però che anche questa capacità decisionale stia mostrando segnali di miglioramento, pur con evidenze ancora parziali.Il rischio non riguarda solo la potenza dei modelli in sé. Riguarda la governance di un ciclo industriale che potrebbe diventare troppo rapido per i processi normativi, le verifiche di sicurezza, le strutture di controllo e perfino le valutazioni interne ai laboratori. Se lo sviluppo dei sistemi più avanzati venisse automatizzato in misura crescente, la differenza tra “rilascio di un nuovo modello” e “nuova generazione di sistemi progettati anche da AI” diventerebbe più sottile.L’ordine esecutivo di Trump C’è poi un elemento politico che spiega perché Anthropic stia insistendo proprio adesso.L’amministrazione Trump ha recentemente firmato un ordine esecutivo che privilegia approcci di autoregolazione e test volontari rispetto a un sistema di controllo governativo centralizzato.In pratica Washington sembra orientata a lasciare ampio spazio ai laboratori privati.Questo rende ancora più urgente, dal punto di vista di Anthropic, la costruzione di meccanismi di coordinamento tra aziende.Se il governo non impone limiti, l’unica alternativa diventa un accordo volontario tra i principali attori del settore.Da qui nasce la proposta di una pausa coordinata. Anthropic non chiede una sospensione unilaterale immediata. Sostiene che una pausa avrebbe senso solo se accettata da più laboratori di frontiera, in più Paesi, con condizioni comuni e un sistema di verifica. Senza questo meccanismo, un rallentamento isolato potrebbe favorire i concorrenti meno cauti e aumentare, anziché ridurre, il rischio complessivo.La comunità scientifica è molto divisa sull’AGISul tema, per altro, ci sono divisioni nella comunità scientifica. Da un lato ci sono figure come Dario Amodei (capo della stessa Anthropic) e Jack Clark, convinte che capacità vicine all’AGI o forme iniziali di auto-miglioramento possano emergere entro pochi anni. In questa visione, i progressi nei coding agent, nella ricerca automatizzata e nella gestione di compiti sempre più lunghi indicano una traiettoria da monitorare prima che diventi ingestibile.Dall’altro lato ci sono ricercatori come Yann LeCun, premio Turing e figura centrale della ricerca AI, che considera gli attuali grandi modelli linguistici inadatti a raggiungere l’intelligenza generale. La sua critica riguarda la mancanza di comprensione robusta del mondo fisico, memoria persistente, pianificazione e ragionamento causale. Per questa scuola di pensiero, scalare i modelli basati su testo, dati e potenza di calcolo non basta a costruire sistemi con intelligenza generale.Il dissenso non è marginale. Il rapporto “AAAI 2025 Presidential Panel on the Future of AI Research”, pubblicato dall’Association for the Advancement of Artificial Intelligence e basato anche su una survey di 475 ricercatori, indica che il 76% dei rispondenti considera “improbabile” o “molto improbabile” che il semplice scaling degli approcci attuali porti all’AGI. Lo stesso rapporto mostra una posizione articolata: il 70% si oppone a fermare la ricerca orientata all’AGI fino al completamento di meccanismi di sicurezza e controllo, mentre il 77% privilegia sistemi con un profilo rischio-beneficio accettabile rispetto alla ricerca diretta dell’AGI.Un paper pubblicato su arXiv nel 2026, “AI Researchers’ Views on Automating AI R&D and Intelligence Explosions”, basato su interviste condotte tra agosto e settembre 2025 con 25 ricercatori di laboratori frontier e università, restituisce una frattura simile. Venti intervistati su venticinque indicano l’automazione della ricerca AI tra i rischi più severi e urgenti, ma le previsioni divergono su tempi, governance e probabilità di crescita esplosiva. Gli autori rilevano anche una distanza epistemica tra ricercatori dei laboratori frontier e accademici, con questi ultimi più scettici sugli scenari di accelerazione estrema.Il risultato è un quadro lontano da una posizione scientifica unitaria:FonteBase empiricaIndicazione principaleAAAI 2025 Presidential PanelSurvey di 475 ricercatori76% scettico sullo scaling degli approcci attuali verso l’AGIAAAI 2025 Presidential PanelSurvey di 475 ricercatori70% contrario a fermare la ricerca AGI fino a sicurezza completaField, Douglas, Krueger, arXiv 202625 interviste a ricercatori frontier e accademici20 su 25 indicano l’automazione della ricerca AI tra i rischi più urgentiField, Douglas, Krueger, arXiv 2026Ricercatori di Google DeepMind, OpenAI, Anthropic, Meta, Berkeley, Princeton, StanfordDivergenza su tempi, governance e scenari di crescita esplosivaNon esiste, quindi, un consenso scientifico sulla vicinanza dell’AGI né sulla probabilità di un’auto-accelerazione fuori controllo. C’è però un consenso più limitato su un punto: i modelli stanno già cambiando il lavoro di programmazione, ricerca e sviluppo. La divergenza riguarda l’interpretazione di questa traiettoria.Perché una pausa verificabile è difficileMa anche ammesso che il rischio è concreto, c’è poi un tema pratico da risolvere: la verificabilità di una pausa. Fermare o rallentare lo sviluppo di modelli frontier non equivale a controllare un impianto industriale tradizionale. I training run possono essere distribuiti, nascosti, spostati tra infrastrutture cloud, mascherati da altre attività di calcolo o condotti in giurisdizioni diverse. Le risorse usate, dai chip ai dati, sono general purpose: servono anche a ricerca, servizi digitali, simulazioni scientifiche, cybersecurity e molte altre attività.Anthropic paragona il problema ai regimi di controllo degli armamenti (nucleari in particolare), ma riconosce che l’AI è più difficile da monitorare. I silos missilistici sono infrastrutture fisiche localizzabili; un grande addestramento può essere più opaco, soprattutto se condotto attraverso catene complesse di fornitori, data center e contratti cloud. Inoltre, l’incentivo a violare una pausa sarebbe forte: chi continua mentre gli altri si fermano può guadagnare vantaggio tecnologico, commerciale e geopolitico.Una pausa credibile dovrebbe quindi definire almeno quattro elementi: quali capacità o soglie la attivano, quali attività vengono sospese, chi verifica il rispetto degli accordi e quali condizioni permettono di ripartire. È un disegno ancora lontano. Anthropic afferma che il proprio istituto lavorerà con policy maker, ricercatori, società civile e altri laboratori per studiare sistemi di coordinamento e deliberazione, ma il salto da un documento di indirizzo a un regime applicabile resta molto ampio.Il precedente del 2023 firmato anche da MuskI precedenti la dicono lunga.Nel marzo 2023 il Future of Life Institute pubblicò la lettera aperta “Pause Giant AI Experiments”, che chiedeva ai laboratori di AI di sospendere per almeno sei mesi l’addestramento di sistemi più potenti di Gpt-4. Tra i firmatari risultavano Elon Musk, Steve Wozniak, Yoshua Bengio, Stuart Russell, Yuval Noah Harari e altri nomi del mondo tecnologico e accademico.Quell’appello non produsse una moratoria. La corsa ai modelli continuò, gli investimenti aumentarono e il tema della sicurezza entrò stabilmente nell’agenda politica. Ecco: l’idea di fermare temporaneamente lo sviluppo dei sistemi più avanzati circola da anni, ma non ha ancora trovato una forma istituzionale praticabile.Il fattore business: IPO, valutazioni e accuse di regulatory captureAlcuni critici poi parlano di mossa di marketing. Sospetta la coincidenza temporale tra l’appello alla cautela e la fase di preparazione della quotazione.Anthropic ha costruito una parte rilevante della propria identità pubblica sulla sicurezza dell’AI. Questa posizione può essere letta come coerenza con la sua storia aziendale, ma anche come leva reputazionale in un mercato dove imprese, governi e investitori cercano fornitori percepiti come più affidabili.Un appello come questo gioca a favore dell’azienda in due modi: mostra sia quanto l’AI può crescere in futuro sia quanto Anthropic sia attenta a controllarne i rischi. Due valori utili per la quotazione.Ma anche: una pausa o un regime di verifica disegnato male potrebbe consolidare la posizione dei leader di mercato, tra cui Anthropic, anziché aumentare la sicurezza complessiva. Alcuni economisti usano in questi casi la metafora del costruire una scala, salirla e poi toglierla (grazie alle regole ottenuto con il proprio potere di lobbying), ai danni degli inseguitori..È uno dei motivi per cui la governance dei modelli frontier non può essere delegata soltanto alle società che li costruiscono.Il ruolo delle istituzioni per la governance AITutto converge qui. Sul ruolo delle istituzioni per una migliore governance dei progressi AI.Ma come fare?Non sappiamo se, come e quando l’AGI arriverà. La decisione pubblica dovrà muoversi dentro questa incertezza. Una moratoria globale appare oggi difficile da negoziare e ancora più difficile da verificare.Misure più realistiche possono riguardare trasparenza selettiva verso autorità qualificate, audit indipendenti sui modelli frontier, incident reporting, test di cybersecurity, tracciabilità dei grandi addestramenti, responsabilità sui rilasci e limiti d’uso per capacità ad alto rischioSchemi vicini all’AI Act europeo, che però attendono ancora la vera prova sul campo, in sé e in rapporto con quel magma legislativo che è la normativa USA sull’AI.Fonti principaliAnthropic Institute, “When AI builds itself”: https://www.anthropic.com/institute/recursive-self-improvementFuture of Life Institute, “Pause Giant AI Experiments”: https://futureoflife.org/open-letter/pause-giant-ai-experiments/AAAI, “2025 Presidential Panel on the Future of AI Research”: https://aaai.org/wp-content/uploads/2025/03/AAAI-2025-PresPanel-Report-Digital-3.7.25.pdfField, Douglas, Krueger, “AI Researchers’ Views on Automating AI R&D and Intelligence Explosions”: https://arxiv.org/abs/2603.03338