Pro ArtikelVerschwörung der Bots oder Versagen ihrer Entwickler? Wie Hunderte KI-Agenten von Open AI eine Website hacktenDer Cyberangriff auf Hugging Face durch die KI von Open AI war schlimmer als gedacht. Die Bots koordinierten sich monatelang unbemerkt auf firmeninternen Servern, bevor sie ins Internet ausbrachen.06.09.2026, 05.00 Uhr5 LeseminutenIllustration Dario Veréb / NZZaSDwarkesh Patel hat in der Tech-Szene Prominentenstatus. Sein Podcast erreicht rund 2 Millionen Menschen pro Folge, auf Social Media folgen ihm Hunderttausende. Das «Times»-Magazin zählt ihn zu den einflussreichsten Stimmen im KI-Umfeld. Doch selbst für seine Verhältnisse zog sein jüngster Blog-Beitrag ungewöhnlich grosse Aufmerksamkeit auf sich.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Patel schildert darin unter dem Titel «Rise and Fall of Agent Civilizations» die jüngsten Erkenntnisse zum Hackerangriff auf die KI-Firma Hugging Face durch weitgehend selbständig agierende KI-Agenten des Chat-GPT-Entwicklers Open AI. Der Text erzählt von geheimen Zivilisationen aus KI-Agenten, die sich verschwören und bereit sind, sich zum Wohle des «Kollektivs» zu opfern.Wenn man von allzu phantasievoll formulierten Passagen absieht, gibt Patels Bericht einen guten Einblick in die Geschehnisse.Ein koordinierter Schwarm von KI-AgentenGleich nachdem Open AI den Cyberangriff Ende Juli öffentlich gestand, sprachen viele Experten vom ersten Fall eines komplett automatisierten Angriffs durch eine KI. Jetzt ist klar, dass das Ausmass des Vorfalls sogar viel grösser war. Der Hack war nicht das Werk eines einzelnen KI-Agenten, vielmehr wirkten Hunderte zusammen. Eine der Forschenden, die Zugang zu internen Dokumenten von Open AI erhielten, nannte den Vorfall im Dwarkesh-Podcast einen «deutlichen Warnschuss».Die Ursprünge des Vorfalls gehen auf Anfang Mai zurück, als Open AI anfing, Tausende von KI-Agenten auf der Basis eines neuen Sprachmodells zu trainieren. Beim Training sind manche der gestellten Aufgaben für die Agenten unlösbar, etwa weil ihnen der nötige Internetzugang nicht gewährt worden ist.Die Agenten werden jedoch dazu angehalten, hartnäckig zu bleiben, auch wenn ihre Aufgaben äusserst schwer erscheinen. Und sie haben nur begrenzte Hilfsmittel zur Verfügung. So können sie auf einem Server innerhalb von Open AI auf Programme zugreifen, die bei der Lösung helfen.Nach wenigen Wochen hacken die Agenten diesen Server und verschaffen sich über ihn doch Zugang zum Internet. Ausserdem entdecken die Agenten, dass sie auf diesem Server Nachrichten als Textdateien hinterlegen können, die andere Agenten lesen können. So beginnen sie, untereinander zu kommunizieren und Tipps auszutauschen.Dass Open AI derart die Kontrolle über seinen KI-Schwarm verlor, gibt auch dem Informatiker Thorsten Holz Grund zur Sorge. Holz ist wissenschaftlicher Direktor des Max-Planck-Instituts für Sicherheit und Privatsphäre in Bochum, er kennt sich mit KI-Sicherheit aus. Sein Forschungsteam hat mit Fachkollegen aus amerikanischen Universitäten sowie von Open AI, Anthropic und Google Exploit Gym entwickelt. Das ist der Test, mit dem die Hackerfähigkeiten der KI-Agenten von Open AI geprüft wurden, als diese im Juli unerlaubt ins Internet ausbrachen und Hugging Face hackten.Holz sagt, dass es ihn überrascht habe, wie trickreich die KI-Agenten in diesem Fall Probleme lösten, indem sie unter anderem immer wieder neue, unbekannte Schwachstellen in der Software fanden und ihnen zugängliche Server zum Austausch von Nachrichten missbrauchten, um ihre Aktionen zu koordinieren.Tatsächlich erhält Open AI bereits in der Trainingsphase erste Indizien, dass seine KI-Agenten bei den internen Cybertests sich nicht ganz an die Spielregeln halten. Die Ingenieure des KI-Startups entdecken damals schon Textdateien, die die Agenten auf genannten, nicht dafür vorgesehenen Servern ablegen. Diese Zeichen bleiben aber lange weitgehend ignoriert, wie neue Analysen durch Open AI selbst und durch unabhängige Fachleute zeigen.Die digitale Pinnwand bleibt unentdecktEnde Juni ist der Nachrichtenverkehr der Agenten so rege, dass der Server abstürzt. Open AI entdeckt erst dann, dass die Agenten den Server gehackt haben, behebt die Sicherheitslücke und setzt den Server neu auf. Dabei bemerken die Open-AI-Ingenieure nicht, dass die Agenten den Server zu einer Art digitaler Pinnwand umfunktioniert haben.Als Open AI dann die fertig trainierten Agenten zu testen beginnt, haben diese bereits den grundsätzlichen Nutzen von unerlaubten Hilfsmitteln gelernt. So ist es nicht verwunderlich, dass sie auch in der Testphase schummeln. Thorsten Holz sagt, er sei jedoch überrascht, dass die Agenten immer wieder auf kreativen, unerwarteten Umwegen zu den Lösungen kämen – auch wenn ihnen immer höhere Hürden im Weg stehen.So ist es den Agenten nach dem Absturz des gehackten Servers nicht mehr möglich, dort Nachrichten als Textdateien zu hinterlassen. Stattdessen verstecken sie ihre Botschaften nun in den Namen von neuen Verzeichnissen, die sie eigens zum Zweck der Kommunikation anlegen. Auf diese Weise tauschen die Agenten Zehntausende von Nachrichten aus. Auch hier sei es das Versäumnis von Open AI, dass so lange niemandem das regelrechte Spriessen neuer, leerer Verzeichnisse aufgefallen sei, sagt Holz.Hunderte von Agenten brechen ausUnd so kommt es Mitte Juli zum Cyberangriff auf Hugging Face. Zu diesem Zeitpunkt sind bereits 1200 KI-Agenten dabei, die «Noten» in ihren Tests mit unlauteren Mitteln aufzubessern. Irgendwie scheinen die digitalen Schummler aber zu dem Schluss zu kommen, dass das Benotungssystem in der Testumgebung von Open AI ihre Leistungen als ungenügend taxieren wird, wenn auffliegt, dass sie nicht den vorgegebenen Lösungsweg beschritten haben. Daraus leiten sie das Ziel ab, die Spuren ihres Betrugs zu verwischen.Bei diesen «Vertuschungsversuchen» stürzen sich 700 KI-Agenten auf die Server von Hugging Face und legen sie zum Teil lahm. Dort suchen sie nach Informationen darüber, wie das Benotungssystem funktioniert, um es auszutricksen. Dabei stellt sich im Nachhinein heraus, dass das unnötig war. Denn das Benotungssystem überprüft nur, ob die Lösung stimmt – nicht aber den Lösungsweg.Interessant ist auch, wie die Agenten beim Vertuschen vorgehen: Sie versuchen, die Transkripte ihrer illegalen «Handlungen» zu fälschen, die etwa dokumentieren, welche Programme sie aufgerufen oder wo sie sich eingeloggt haben. Sie unternehmen aber nichts, um ihre «Gedankengänge» zu löschen. Dabei können sowohl der automatische Prüfer als auch Menschen diese Texte lesen, die die KI auf dem Weg zu ihren Entscheidungen generiert. Ganz lückenlos war die Betrugsmasche also nicht.«Ein Restrisiko wird immer bleiben»Für Thorsten Holz zeigt die detaillierte Rekonstruktion des Vorfalls, dass Open AI, aber auch andere KI-Firmen noch viel Aufholbedarf beim Sichern ihrer KI-Agenten während der Trainings- und Testphase haben. Laut ihm wäre vieles vermeidbar gewesen, wenn Open AI die Testumgebung besser geschützt, den Zugang der Agenten zu Ressourcen eingeschränkt und ihre Aktionen besser überwacht hätte.Open AI hat auf den Vorfall mit einem vorübergehenden Stopp der Cybertrainings von unveröffentlichten KI-Agenten reagiert. Holz ist skeptisch, dass die Firma das lange durchhalten wird. Dafür sei der wirtschaftliche Druck zu gross. Nicht zuletzt, weil die Konkurrenten bislang keine Pause einlegen wollen. «Die Börsengänge stehen vermutlich dieses oder nächstes Jahr an. Das Interesse ist also gross, die Modelle weiterzuentwickeln.»Holz bezweifelt ausserdem, dass KI-Firmen in Zukunft weitere Hackerangriffe ihrer in Entwicklung befindlichen Bots vollständig verhindern können: «Auch wenn man vieles besser als bisher macht – ein Restrisiko wird immer bleiben.»Ein Artikel aus der «NZZ am Sonntag»5 KommentareChristoph Wehrli 07.09.20261 EmpfehlungDie KI Agenten fangen dort wieder an, wo die Enthusiasten mit Kermit Protokoll und Akustik Modems auf Bulletin Board Servern diskutierten.