Na een week vol tumult over veiligheidsincidenten in de AI-sector heeft de medeoprichter van Anthropic (van chatbot Claude) in een nieuw essay opgeroepen tot het vertragen van AI-ontwikkeling. Het essay van Dario Amodei kreeg bijval uit onverwachte hoek: zijn grootste concurrent Sam Altman (OpenAI) én Elon Musk (SpaceX) schaarden zich achter het voorstel, evenals Google Deepminds medeoprichter Demis Hassabis.
In zijn essay schrijft Amodei dat hij vreest dat AI-agents over zes tot twaalf maanden het hele internet kunnen overnemen, als AI-bedrijven hun modellen op de huidige voet blijven ontwikkelen.
Amodei is het zelfbenoemde geweten van de AI-industrie, en staat bekend om zijn angstaanjagende waarschuwingen over de mogelijke gevolgen van het product dat hij ontwikkelt. In zijn nieuwe essay (We Must Pace the Frontier) schrijft hij dat hij AI-ontwikkeling vanwege de theoretische voordelen weliswaar nog altijd ziet als een morele verantwoordelijkheid, maar dat hij ook steeds meer doordrongen is geraakt van de risico’s. AI-modellen zullen nauwelijks meer te begrijpen en te controleren zijn naarmate de grote AI-labs het ontwikkelen van nieuwe modellen in toenemende mate uitbesteden aan AI zelf, een praktijk die bekendstaat als ‘recursieve zelfverbetering’.
