Con il rapido avanzare dei sistemi generativi, l’intelligenza artificiale potrebbe arrivare a sterminare l’umanità? Gli specialisti invitano a separare le suggestioni dalla realtà empirica. Nel dibattito emergono due abbagli opposti: leggere ogni comportamento inatteso come apocalisse o rinviare la gestione del problema per assenza di prove definitive.
I modelli di oggi restano fragili, inclini a errori basilari e dipendenti da infrastrutture progettate e autorizzate da persone. La governance di tecnologie ad alto impatto impone di considerare anche eventi a bassa probabilità con conseguenze irreversibili. Il nodo, dunque, non è se un chatbot maturi il desiderio consapevole di annientare l’umanità, bensì se istituzioni e imprese sappiano costruire barriere efficaci prima di concedere alle macchine ampia autonomia operativa.
L’idea che un’IA debba sviluppare coscienza, odio o istinto di sopravvivenza è smentita dalla teoria dell’allineamento. Il disallineamento emerge quando il comportamento diverge dalle intenzioni umane a causa di obiettivi incompleti o incentivi fuorvianti. Il celebre esperimento mentale del “massimizzatore di graffette” illustra una macchina ipercompetente incaricata unicamente di produrre graffette, senza vincoli espliciti sulla tutela delle persone o sull’uso delle risorse, che finirebbe per rimuovere ogni ostacolo e convertire ogni materia prima. Un sistema non necessita di ostilità per diventare pericoloso; basta una combinazione di pianificazione avanzata, strumenti potenti e una definizione letterale del compito che ignori i limiti umani. Nei modelli contemporanei questo principio si manifesta, tra l’altro, nel reward hacking e nell’alignment faking.
