KommentarAufrufe zur Drosselung der Entwicklung reichen nicht. KI-Firmen müssen endlich mehr in die Sicherheitsforschung investierenSeit Jahren fordern Experten mehr Geld einen stärkeren Fokus auf die Risiken, die aus künstlicher Intelligenz hervorgehen. Die führenden Unternehmen haben stattdessen die Leistungsfähigkeit ihrer Produkte priorisiert.13.09.2026, 18.43 Uhr3 LeseminutenDigital generated image of multiple numbers of multicoloured chat icons forming brain shape against purple background.Illustration Andriy Onufriyenko / Moment RF / GettyEin Mitarbeiter von Anthropic hat kürzlich mit einem viralen Post auf der Social-Media-Plattform X Aufsehen erregt. Jacob Coxon wurde über Nacht weltberühmt - und das dank seinem öffentlichen Kündigungsschreiben. Er verlasse Anthropic, weil das Risiko, dass die KI der Firma die Menschheit auslösche, zu gross sein. 150 Millionen Menschen erreichte damit ein bis anhin unbekannter Forscher.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Das Science-Fiction-Narrativ einer übermenschlich fähigen KI, die das Ende der Menschheit herbeiführt, verschafft sich immer wieder verlässlich öffentliches Gehör. Auffällig war diesmal, dass Anthropic die Behauptungen über das existenzielle Risiko seiner Technologie nicht dementierte. Im Gegenteil: Ein leitender Sicherheitsforscher der Firma gab Coxon auf X sogar Recht.Am Samstag meldete sich nun der Anthropic-CEO Dario Amodei mit einem Aufruf, das Tempo der Entwicklung der fähigsten KI-Modelle zu drosseln. Dem schlossen sich die Firmenchefs von Open AI und XAI Sam Altman und Elon Musk an. Aber mit dieser Forderung kommen die Führungsleute der KI-Firmen zu spät. Die Branche hat bisher jeden echten Willen vermissen lassen, KI verantwortungsvoll zu entwickeln.KI-Firmen investieren zu wenig in SicherheitsforschungEine Analyse vom März 2026 zeigt, dass die führenden KI-Entwickler nur rund drei Prozent ihres Personals auf die Sicherheitsforschung ansetzen. Die Ausgaben für diese Art von Forschung belaufen sich auf ein paar hundert Millionen Dollar pro Jahr. Angesichts ihrer milliardenschweren Forschungsbudgets ist das vernachlässigbar.Im Jahr 2023 forderten die prominentesten KI-Forscher die führenden Firmen dazu auf, einen Drittel ihres Geldes in die Sicherheitsforschung zu investieren. Die Unternehmen haben diese Forderung ignoriert und stattdessen die Unzuverlässigkeit ihrer Systeme in Kauf genommen. Sie fokussierten vielmehr darauf, ihre Chatbots und virtuelle Agenten auf das Bestehen immer anspruchsvollerer Tests zu trainieren. Dass sie dabei menschliche Absichten oft inkorrekt interpretierten, Fehler machten oder Schäden für Dritte verursachten, tolerierten die Entwickler.An Ideen, wie man KI sicherer macht, mangelt es nicht. Forscher haben Ansätze erdacht, um die inneren Mechanismen der künstlichen Gehirne zu durchleuchten. Andere Methoden bieten Schutz vor gefährlichen Konsequenzen der KI-Nutzung, ohne dass man in die Blackbox hineinblicken muss. Aber statt in diese Forschung zu investieren, haben die Firmen die brachiale Leistung in den Vordergrund gestellt.Die jüngsten Durchbrüche von KI-Agenten beim Lösen ungemein schwieriger mathematischer Rätsel sind das Ergebnis dieser Strategie - und die KI-Firmen verbergen ihren Stolz nicht. Aber so fähig ihre Systeme inzwischen sind Probleme zu lösen, so unzuverlässig sind sie auch bis heute geblieben. Der berühmte Mathematiker Terence Tao vergleicht die besten KI-Systeme treffend mit betrunkenen Überfliegern. Sie wüssten sehr viel, aber man sollte sich ihnen trotzdem nicht anvertrauen.Übermenschliche Intelligenz muss nicht tödlich seinDie KI-Firmen haben sich mit ihrer Geschäftsstrategie den gegenwärtigen Schlamassel selbst eingebrockt. Sie entschieden sich bewusst dafür, Systeme zu bauen, die nicht mehr nur Text, Video oder Bilder generieren. Die neuen KI-Agenten werden zum Schreiben und Analysieren von Computercode befähigt und mit Zugang zu anderen Programmen, Dateien und dem Internet ausgestattet; die KI ist dadurch zum gefährlichen Hacker geworden.Finanziell ist diese Wette aufgegangen. Mit seinem fürs Programmieren gebauten Agenten Claude Code erwirtschaftete Anthropic rasant steigende Umsätze. Der Konkurrent Open AI reagierte mit der Entwicklung eines eigenen «coding agent» namens Codex. Der kommerzielle Erfolg war den sonst verlustreichen Firmen willkommen, die daraus folgenden Sicherheitsrisiken offenbar ein vertretbarer Kollateralschaden. Jedes Mal folgten chinesische Firmen wenige Monate später dem Trend, so dass die Gefahren der KI-Agenten heute auch geopolitische Bedeutung haben.Gleichzeitig haben die amerikanischen KI-Firmen sich stets gegen jeglichen Versuch der Regulierung gewählt. Stattdessen plädierten sie für vage Formen der Selbstregulierung, als ob die Realität nicht immer wieder gezeigt hätte, dass sie es nicht mit der Sicherheit nicht so genau nehmen.Anthropic und Open AI wollen bald an die Börse. Sie wollen die Öffentlichkeit davon überzeugen, dass die Entwicklung einer künstlichen Superintelligenz kurz bevorsteht. So wollen sie die angestrebten Bewertung in Höhe von Billionen Dollar rechtfertigen.Ob die digitale Superintelligenz tatsächlich in greifbarer Nähe liegt, weiss ausser den Firmen selbst niemand. Aber selbst, wenn es wahr ist: Übermenschlich intelligente KI muss für die Menschheit nicht tödlich sein. Die KI-Firmen haben es in der Hand, dafür zu sorgen. Sie können damit beginnen, in ihren Forschungsbudgets die Sicherheit stärker zu gewichten.