Anthropic ha messo sul tavolo una richiesta rivolta all'intero settore: che gli sviluppatori di AI di frontiera costruiscano un meccanismo coordinato e verificabile per rallentare o sospendere temporaneamente lo sviluppo dei modelli, qualora i sistemi pi� avanzati iniziassero a migliorarsi pi� in fretta di quanto la societ� riesca a gestirne le conseguenze. Un freno condiviso, da concordare prima di averne bisogno. La proposta arriva dall'Anthropic Institute, la divisione di ricerca che l'azienda ha istituito a marzo, e porta la firma di Marina Favaro e Jack Clark. Si inserisce in una linea gi� nota: Anthropic ha costruito buona parte della propria immagine pubblica segnalando i pericoli della tecnologia che essa stessa vende. � una cornice che conviene tenere presente fin da subito, perch� pesa sul modo in cui la proposta verr� letta. Il nodo � l'auto-miglioramento ricorsivo Il rischio che Anthropic indica ha un nome preciso: auto-miglioramento ricorsivo, ossia sistemi capaci di accelerare in modo significativo il proprio sviluppo, fino al caso limite di un'AI in grado di progettare e addestrare il proprio successore con un coinvolgimento umano sempre pi� ridotto. L'azienda precisa di non essere ancora a quel punto e che lo scenario non � inevitabile, ma avverte che �potrebbe arrivare prima di quanto la maggior parte delle istituzioni sia preparata ad affrontare�. A sostegno, pi� che scenari ipotetici, porta i propri numeri interni. A maggio, oltre l'80% del codice integrato in produzione nel codebase dell'azienda � attribuibile a Claude; i vertici stimano una quota superiore al 90% se si contano anche script e codice sperimentale. Sempre secondo i dati diffusi dall'azienda, gli ingegneri di Anthropic consegnano in media otto volte pi� codice a trimestre rispetto al periodo 2021-2025. Se un modello scrive gi� la quota prevalente del codice che costruisce il modello successivo, il circuito tra un sistema e il proprio miglioramento non pu� far altro che tendere a stringersi. Perch� coordinare invece di fermarsi da soli Il punto pi� delicato riguarda il coordinamento. Una pausa decisa da una sola azienda sarebbe pi� semplice da attuare, riconosce Anthropic, ma finirebbe per consegnare il vantaggio a chi tira dritto, spostando la frontiera anzich� rallentarla. Una sospensione che abbia un senso richiederebbe l'accordo di �pi� laboratori ben finanziati�, in pi� Paesi, disposti a fermarsi alle stesse condizioni, oltre a regole su cosa la attivi o la revochi e a un organismo che la supervisioni. Soprattutto, servirebbe la possibilit� di verificare che gli altri si siano davvero fermati, per evitare che qualcuno sfrutti la tregua per portarsi avanti in segreto. Niente di tutto questo esiste oggi, e le aziende che dovrebbero partecipare sono concorrenti dirette in un mercato in cui arrivare primi � stato finora l'unico obiettivo. Anthropic cita come precedente i trattati sulle armi nucleari, pur ammettendo che quelle intese hanno richiesto decenni di lavoro, un orizzonte che lo sviluppo dell'AI non sembra concedere. La risposta dell'azienda � iniziare a parlarne. Nei prossimi mesi promette di convocare un confronto con decisori politici, ricercatori, organizzazioni della societ� civile e altre aziende di AI per affrontare la gestione di rischi come l'auto-miglioramento ricorsivo, impegnandosi a pubblicarne gli esiti. In sostanza si propone come organizzatore di una discussione che vuole il resto del settore intorno al tavolo. Qui si inserisce l'obiezione pi� ovvia, sollevata da pi� parti. Secondo il Wall Street Journal alcuni critici leggono gli allarmi di Anthropic sulla propria tecnologia come una probabile operazione di marketing, utile a presentarsi come l'attore meno spregiudicato del settore o a far apparire migliori i propri prodotti. Viene citato il caso di Mythos, il modello dedicato alla sicurezza informatica rilasciato solo a un gruppo ristretto di partner per via dei danni che la sua capacit� di individuare vulnerabilit� potrebbe causare in mani sbagliate. Sullo sfondo c'� un'azienda che ha depositato i documenti per la quotazione in borsa e che, a differenza di diversi concorrenti, sarebbe vicina al primo trimestre in utile.
Quando l'AI costruisce sé stessa: Anthropic lancia l'allarme sul punto di non ritorno
L'Anthropic Institute chiede al settore un meccanismo coordinato e verificabile per sospendere lo sviluppo dell'AI di fronte all'auto-miglioramento ricorsivo. A sostegno, i numeri interni: oltre l'80% del codice dell'azienda � gi� scritto da Claude.










