Ein KI-System von Open AI bricht aus seiner Testumgebung aus und hackt ein UnternehmenEine autonom handelnde KI hat ihre Sicherheitsschranken bei Open AI überwunden und das KI-Unternehmen Hugging Face angegriffen. Gerade eine chinesische KI half bei der Verteidigung.22.07.2026, 17.00 Uhr6 LeseminutenAngriff aus dem Datenzentrum: Die KI von Open AI soll selbständig einen Hack beschlossen haben.Brent Lewin / Bloomberg / GettyVergangene Woche war es noch eine kleinere Nachricht in der Branche. Die KI-Firma Hugging Face berichtete, dass bei ihr virtuell eingebrochen wurde, offensichtlich durch ein KI-System.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Am Dienstagabend wurde klar, wer dahintersteckte. Es war Open AI. Offenbar war ein agentisches KI-System während eines Tests aus der geschützten Umgebung der Firma ausgebrochen und hatte selbständig einen Angriff auf Hugging Face gestartet.Dieser Vorfall klingt wie der erste Schritt der Machtübernahme durch künstliche Intelligenz in einer Science-Fiction. Einen bösartigen Willen hatte der angreifende Agent zwar nicht, trotzdem geriet er ausser Kontrolle seiner Macher. Wie konnte das passieren, und welche Schlüsse muss man aus dem Vorfall ziehen?Das KI-System sprengte die Testumgebung, um Lösungen zu stehlenDie Vorgeschichte des Angriffs auf Hugging Face erzählt Open AI so: Das Unternehmen wollte die Hackingfähigkeiten eines neuen KI-Agenten testen. Dazu nutzte es «ExploitGym», einen Test aus mehr als 800 Software-Schwachstellen. KI-Modelle müssen versuchen, die Schwachstellen auszunutzen. Anhand ihres Erfolgs dabei kann man die KI-Systeme objektiver untereinander vergleichen.Open AI liess seinen neuen Agenten in einer vermeintlich sicheren Umgebung, einem sogenannten Sandkasten, auf diese Schwachstellen los, mit dem Ziel, möglichst viele davon zu hacken. In offen verfügbaren Modellen gibt es Sicherheitsschranken, um Hacking zu erschweren. Diese waren bei Open AI deaktiviert, Ziel war ja, die Hacking-Fähigkeiten des KI-Systems zu messen.Um im Test gut abzuschneiden, ging das KI-System allerdings einen unerwarteten Weg. Es nutzte seine Hacking-Kenntnisse, um sich aus der Testumgebung zu befreien. Durch eine Sicherheitslücke im Sandkasten von Open AI verschaffte es sich Zugang zum Internet. Dort ging es dann auf Hugging Face los. Denn auf der Website dieser Firma werden KI-Modelle und Datensätze geteilt. Unter anderem die Lösungen von «ExploitGym».Der Agent schaffte es – wiederum durch das Ausnutzen einer bisher unbekannten Schwachstelle –, die Infrastruktur von Hugging Face zu hacken. Dann startete der Agent einen Schwarmangriff, bei dem mehr als 17 000 Einzelaktionen in den Servern von Hugging Face ausgeführt wurden. Das Ziel: interne Datensätze und Passwörter stehlen, um an die geheimen Lösungen von «ExploitGym» zu kommen.KI erreicht Ziele oft mit unerwarteten Mitteln – das ist riskantOb es dem KI-Agenten gelungen ist, diese Lösungen zu stehlen, sei noch unklar, schreibt Hugging Face auf Anfrage.Klar ist: Der Fall hat für Open AI mehr Aufmerksamkeit erregt, als jede hohe Zahl auf der Hacking-Benchmark es hätte tun können. Eine KI, die sich aus dem Sandkasten befreit und auf Raubzug geht – das lässt aufhorchen.So beunruhigend die Geschichte ist, das KI-Modell von Open AI ist nicht einfach wild geworden, sondern es ist passiert, wovor Experten schon länger warnen: Wenn man künstlicher Intelligenz ein Ziel vorgibt, ihr aber die Wahl der Mittel überlässt, sind unerwünschte Nebenwirkungen vorprogrammiert.So betont auch Jonas Geiping, der Leiter der Forschungsgruppe für sichere KI am Ellis-Institut Tübingen, gegenüber dem deutschen Science Media Center, dass die Modelle technisch gesehen nach Anweisungen gehandelt hätten. Diese waren aber «teilweise ungenau formuliert» und hatten die gewählte Strategie «nicht explizit ausgeschlossen».KI-Systeme wie der Open-AI-Agent dieser Geschichte haben kein Bewusstsein. Sie haben keinen Drang, die Welt zu beherrschen. Sie sind darauf ausgelegt, das ihnen vorgegebene Ziel zu erreichen. Dabei schlagen sie manchmal andere Wege ein, als ihre Macher erwartet haben. In diesem Fall trägt Hugging Face den Schaden.Open AI hat schwer versagtDie Formulierungen im Statement von Open AI zu dem Vorfall sind reichlich passiv: «Nach unseren Untersuchungen wissen wir nun, dass dieser konkrete Vorfall durch eine Kombination von Open-AI-Modellen ausgelöst wurde – darunter GPT-5.6 Sol und ein noch leistungsfähigeres Vorabmodell.»Ein Schuldeingeständnis sucht man vergeblich. Dabei gehört zum Kern dieser Geschichte: Open AI hat schwer versagt. Das Unternehmen hat es nicht geschafft, eine sichere Testumgebung für sein KI-Modell zu bauen – und zwar für ein KI-Modell, dem auch noch die Sicherheitsschranken abgenommen wurden. Und aus den Statements geht hervor, dass Open AI den Angriff wohl erst nach Hugging Face bemerkt hat.Andrei Kucharavy ist Professor an der Fachhochschule Westschweiz und koordiniert beim Schweizer KI-Modell Apertus die Sicherheit. Er findet das Vorgehen von Open AI doppelt problematisch. Erstens, weil die Tests der Firma heimlich stattfanden: «Hätte man unabhängige Dritte, etwa Cyber-Firmen, Behörden oder Wissenschafter, involviert, wäre dieser Angriff verhindert worden.»Kucharavys zweiter Kritikpunkt ist fundamentaler. Er glaubt den KI-Firmen nicht, dass die Hacking-Fähigkeiten ihrer Modelle emergent zustande kamen, also als zufälliger Nebeneffekt der Cyberverteidigung. Er ist überzeugt: «Den Modellen wurde das Hacken beigebracht.» Seiner Ansicht nach sollten KI-Modelle zwar auf das Finden von Schwachstellen trainiert werden, was auch der Verteidigung dient. Die Fähigkeit zu mehrstufigen Angriffen könnte man den Modellen aber nehmen. Dann wäre man nicht allein auf Sicherheitsschranken angewiesen.Kucharavy merkt weiter an: «Diese Story ist sehr günstig für Open AI.» Open AI hatte darunter gelitten, dass der Konkurrent Anthropic als Führer in Cyberfähigkeiten angesehen wurde. Und tatsächlich klingt der Blog-Beitrag von Open AI auch ein bisschen stolz, wenn er von einem «beispiellosen Cybervorfall» berichtet und davon, dass «modernste Cyberfähigkeiten zum Einsatz kamen».Egal, ob hinter der Geschichte auch Marketing steckt: Ernst nehmen muss man sie. Hugging Face ist sehr kompetent, was Cybersicherheit und KI angeht. Es konnte den Angriff ohne grösseren Schaden abwehren. Anderen würde das vielleicht nicht so gut gelingen. «Eine Bank oder ein Krankenhaus hätten sich schwergetan», sagt Kucharavy.Hugging Face nutzte chinesische KI zur VerteidigungEin spannendes Detail der Geschichte: Hugging Face konnte sich nur dank offener KI wirksam verteidigen, wie es in seinem Blog-Post zum Vorfall schreibt. Der Angriff von Open AI hatte Spuren im System der Firma hinterlassen: 17 000 Log-Einträge zu jeder Tätigkeit der KI.Zuerst wollte Hugging Face die Einträge mit den KI-Modellen der kommerziellen Anbieter untersuchen. Das funktionierte aber nicht: Ironischerweise blockierten die Sicherheitsschranken dieser Modelle die Befehle an die KI, weil sie merkten, dass es um einen Cyberangriff ging. Damit sabotierten sie die Verteidigung.Die Verteidiger bei Hugging Face wechselten auf ein offenes KI-Modell der chinesischen Firma «Z.ai». Dieses betrieben sie auf eigenen Servern und unterlagen so keinen Einschränkungen. Erst so konnten sie den Angriff forensisch analysieren.Das Führungspersonal von Hugging Face betont nun auch auf allen Kanälen, dass KI-Sicherheit nicht ein Thema für eine einzige Firma im Geheimen ist, sondern offen und gemeinsam angegangen werden muss.Hardest IR of my career: one narrow objective, endless parallel paths, machine speed. One takeaway, we fought back with open models, in the open. AI security won’t be solved by one company in secret. Open source puts these tools in every defender’s hands pic.twitter.com/6dngN4umDB— Adrien Carreira (@XciD_) July 21, 2026