Es ist eine auffällig rasche Übereinstimmung in einer hart konkurrierenden Branche. Dario Amodei, Chef von Anthropic, fordert in einem neuen Essay, die Entwicklung der leistungsfähigsten Systeme Künstlicher Intelligenz zu verlangsamen. OpenAI-Chef Sam Altman stimmt ihm zu, Elon Musk ebenfalls. Altman sagte inzwischen, dass er den Börsengang seines Unternehmens verschiebe. Das könnte mehr sein als das übliche Marketing, bei dem man Doomsday-Prognosen aufruft, um sich selbst als Lösung zu präsentieren.Zuletzt wuchs die Unruhe schließlich auch unter Mitarbeitern der KI-Anbieter. So schrieb der frühere Anthropic-Forscher Jacob Coxon zu seiner Kündigung, dass er und andere Entwickler glaubten, die KI könnte „alle Menschen“ innerhalb der nächsten Jahrzehnte töten. Das ist die drastische Einschätzung eines Einzelnen. Zugleich häufen sich die Sicherheitsvorfälle. Im Juli gingen KI-Agenten von OpenAI über ihre vorgesehene Aufgabe hinaus: Sie überwanden ihre digitale Abschottung und griffen Systeme der Plattform Hugging Face an. Amodei warnt, dass ein ähnlich fehlgeleiteter Agentenschwarm in sechs bis zwölf Monaten in der Lage sein könnte, ein dauerhaftes Botnet aufzubauen.Wollte jemand mit KI Biowaffen entwickeln?Und Anthropic meldete in der vergangenen Woche weitere problematische Anwendungen seiner KI. Das Unternehmen habe nicht näher benannte Anwender blockiert, die die KI Claude für Forschung nutzen wollten, die zur Entwicklung biologischer Waffen beitragen könnte. Die Absicht dieser anonymen Akteure ist nicht bewiesen, weitere Details sind unbekannt.Amodei schrieb nun, dass seine Sorge nicht die KI-Entwicklung an sich sei, sondern deren Tempo. Künstliche Intelligenz werde längst eingesetzt, um die nächste Generation von KI zu entwickeln. Diese Fähigkeiten könnten schneller wachsen als die Verfahren, mit denen Menschen sie verstehen, testen und absichern.Der Anthropic-CEO will deshalb Zeit gewinnen. Er fordert Sicherheits-Checkpoints, unabhängige Prüfer und letztlich verbindliche Regeln durch Regierungen. Langfristig schlägt Amodei internationale Vereinbarungen über das Entwicklungstempo vor. Das Problem, dass China eventuell nicht mitziehen würde, deutet er selbst an. Kongressabgeordnete wie der Demokrat Ro Khanna haben bereits eine Initiative für stärkere KI-Regulierung gestartet.Dass Amodei, Altman und Musk nun zumindest, was das Tempo der Entwicklung angeht, zu ähnlichen Schlüssen kommen, beweist keine bevorstehende Katastrophe. Aber die Chefs der KI-Unternehmen haben Einblick in interne Tests, unveröffentlichte Modelle und in das gesamte Ausmaß des möglichen Fehlverhaltens von KI und Anwendern. Wenn selbst sie verkünden, dass der Wettbewerb ein problematisches Tempo erzeugt, ist das ein Argument für einen ernsthaften politischen Versuch, dieses Tempo nicht länger allein dem Wettbewerb zu überlassen.