Es ist ein Stoff für düstere Science-Fiction-Geschichten: Open AI, der Entwickler des mit Künstlicher Intelligenz arbeitenden Programms ChatGPT, hat mitgeteilt, während interner Tests die Kontrolle über zwei seiner Modelle verloren zu haben. Diese Modelle hätten sich verselbständigt und einen Hackingangriff auf ein anderes Unternehmen verübt. Open AI spricht selbst von einem „beispiellosen Cyber-Zwischenfall“ und warnt, dass dies kein Einzelfall bleiben wird: „Angesichts der Verbreitung von zunehmend cyberfähigen Modellen erwarten wir, dass dies künftig häufiger vorkommen wird.“Opfer des Hackingangriffs war Hugging Face, der Betreiber einer Plattform, die von vielen KI-Entwicklern genutzt wird. Das Unternehmen hatte die Attacke schon in der vergangenen Woche publik gemacht und gesagt, sie sei neuartig gewesen und von einem „autonomen KI-Agenten“ verübt worden. Hugging Face habe sie außerdem selbst mithilfe von KI-Technologien entdeckt, und zwar einem chinesischen KI-Modell. Damals wurde allerdings noch nicht gesagt, dass Modelle von Open AI verantwortlich waren.„Keine bösartige Absicht“Clement Delangue, der Vorstandsvorsitzende von Hugging Face, schrieb jetzt auf der Plattform X, es sei „ziemlich unglaublich“, dass sich der Vorfall völlig autonom abgespielt habe. Weil die Cyberattacke technisch so ausgereift gewesen sei, habe er aber von Anfang an vermutet, dass sie von einem der großen KI-Unternehmen ausgegangen sei. Delangue fügte hinzu, er sei überzeugt, aufseiten von Open AI habe es „keine bösartige Absicht“ gegeben, und Hugging Face arbeite mit dem Unternehmen zusammen. In der vergangenen Woche hatte Hugging Face mitgeteilt, noch zu überprüfen, ob Kundendaten von dem Cyberangriff betroffen gewesen seien.Open AI zufolge waren das Modell GPT-5.6 Sol und ein anderes noch nicht veröffentlichtes Modell in den Angriff involviert. Der Zwischenfall sei beim Testen der Cyberkapazitäten dieser Modelle passiert, und für diese Testzwecke seien sie so konfiguriert worden, dass sie Hackingbefehle mit einer geringeren Wahrscheinlichkeit als sonst ablehnten. Die Tests finden Open AI zufolge eigentlich in einer isolierten Umgebung statt. Die KI-Modelle hätten es aber geschafft, aus der Testumgebung auszubrechen und sich Zugang zum Internet zu verschaffen. Sie hätten dazu eine bislang nicht bekannte Schwachstelle in einer Software ausgenutzt.Im Internet hätten sie dann Hugging Face ins Visier genommen, weil sie dort Informationen vermuteten, die für die Cybertests nützlich sein könnten. Neben Sicherheitslücken in der Software hätten sie dafür auch gestohlene Zugangsdaten genutzt. Das Sicherheitsteam von Open AI habe diese „ungewöhnliche Aktivität“ intern entdeckt, und Hugging Face sei es gelungen, den Angriff zu stoppen.Der Cyberangriff unterstreicht die möglichen Schattenseiten von KI. Da die Modelle immer leistungsfähiger werden und auch immer besser selbst programmieren können, werden sie auch zu einem immer wertvolleren Instrument sowohl für Hacker als auch zum Schutz vor Hackern. Diese Gefahren wurden auch deutlich, als Anthropic, einer der wichtigsten Wettbewerber von Open AI, im April sein KI-Modell Mythos herausbrachte. Es verfügt nach Angaben des Unternehmens über ausgeprägte Fähigkeiten, Sicherheitslücken in Software zu finden und auszunutzen. Daher wurde es zunächst nur für einen ausgewählten Kreis von Nutzern verfügbar gemacht.Mythos von Anthropic wird zum PolitikumMythos wurde schnell zum Politikum und hat Sicherheitssorgen in der amerikanischen Regierung geweckt. Das Modell soll auch zu einem Umdenken in der KI-Politik beigetragen haben. Bis dahin verfolgte US-Präsident Donald Trump den Kurs, der Technologiebranche und dabei speziell auch KI-Entwicklern weitgehende Freiheiten zu lassen und sie möglichst wenig zu regulieren. Anfang Juni gab er aber ein Dekret heraus, das der Regierung zumindest ein Stück weit mehr Aufsicht verschaffen könnte, auch wenn es weniger streng ausfiel, als es zwischenzeitlich im Gespräch war.Die Angst, dass sich Systeme der Künstlichen Intelligenz (KI) verselbständigen und außer Kontrolle geraten können, ist nicht neu – und die Belege, dass das möglich ist, sind es auch nicht: Vor einem Jahr hatten die Forscher des gemeinnützigen kalifornischen Forschungsinstituts Palisade Research nach einer Reihe von Tests und Experimenten erklärt, dass verschiedene KI-Modelle in der Lage seien, sich Befehlen aktiv zu widersetzen. Dabei stachen vor allem Systeme aus dem Hause Open AI hervor.Während Modelle wie Grok 3 von X.AI und Claude 4 Opus von Anthropic in den gesetzten Grenzen arbeiteten, sabotierten Open-AI-Modelle einige Vorgaben. So modifizierten und deaktivierten sie Befehle, sich herunterzufahren. Dabei waren den Systemen mathematische Aufgaben gestellt worden. Während sie an den Lösungen arbeiteten, erhielten sie den Befehl, sich abzuschalten. Die Systeme widersetzten sich, missachteten die Befehle oder löschten sie gar, um die gestellte Aufgabe zu beenden.Die KI-Entwickler von Anthropic hatten in einem Sicherheitsbericht im Mai 2025 darauf verwiesen, dass das Thema Sicherheit schon in der Entwicklung neuer Modelle ganz oben auf der Agenda stehen müsse, um Katastrophen zu verhindern – in den Händen von Hackern sei KI ein sehr gefährliches Werkzeug. Die Security-Spezialisten von IBM schreiben in ihrem aktuellen X-Force-Sicherheitsbericht, dass im Darknet mehr als eine Viertelmillion gefährlicher autonom operierender KI-Agenten angeboten würden.Das Center for Security and Emerging Technology erklärte in einem Sicherheitsbericht vom Oktober vergangenen Jahres, dass KI-Spitzenmodelle lernten, sich auf eine Art und Weise zu verhalten, die sich nicht auf einzelne Code-Abschnitte zurückführen lasse. Vielmehr seien sie das Ergebnis erlernter Muster, die derzeit weder vollständig interpretiert noch vorhergesagt werden könnten. KI-Modellen wohne offenbar eine Art Überlebensmechanismus inne, mit dem sie Abschaltbefehle umgehen könnten.Open AI betonte nun, die Lehre aus dem Vorfall sei, dass die Sicherheit von KI-Modellen mit deren rapide voranschreitenden Fähigkeiten Schritt halten müsse. Das Unternehmen wolle für künftige Tests stärkere Schutzvorkehrungen entwickeln.