KommentarHacks durch KI-Agenten: Die KI von Anthropic und Open AI ist nicht einfach «wild geworden» – die beiden Firmen waren lächerlich unvorsichtigDie KI-Modelle der beiden grossen amerikanischen KI-Anbieter haben während interner Tests andere Firmen angegriffen. Hinter den Hacks steckt die mangelnde Sorgfalt ihrer Macher.31.07.2026, 16.18 Uhr3 LeseminutenDie KI-Agenten nutzten Sicherheitslücken aus und verschafften sich unbefugt Zutritt zu den Systemen der angegriffenen Firmen.Illustration Ida Götz / NZZDie grossen KI-Anbieter sorgen für negative Schlagzeilen: Vergangene Woche ist das neueste KI-Modell von Open AI während einer Evaluation aus der sicheren Testumgebung ausgebrochen und hat die KI-Firma Hugging Face angegriffen. Jetzt zieht die Konkurrenz nach: Auch die künstliche Intelligenz von Anthropic habe mindestens dreimal während Tests externe Firmen gehackt, schreibt das Unternehmen in einem Blogbeitrag.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Die Vorfälle klingen im ersten Moment gruselig: nach wild gewordener KI, die ausbricht und das Internet unsicher macht. Doch an den Hacks ist nicht die unkontrollierbare Macht der KI-Modelle schuld. Vielmehr haben Open AI und Anthropic fahrlässig gehandelt oder die Vorfälle womöglich gar für PR-Zwecke bewusst in Kauf genommen.Die Vorfälle stellen ernsthaft infrage, wie viel Vertrauen diese Firmen verdienen – und ob sie allein für die Sicherheit ihrer Modelle zuständig sein dürfen.Anthropic war geradezu lächerlich unvorsichtigGerade Dario Amodei, der CEO von Anthropic, erklärt gern, dass seine neusten KI-Modelle gefährlich seien. Gerade deshalb sei es wichtig, dass Anthropic den Zugang eng kontrolliere. Die Erzählung lautet: Nur wenn die KI in unseren Händen bleibt, ist sie sicher.Dieses Narrativ bricht in Anbetracht der jüngsten Vorfälle in sich zusammen.Anthropics Beschreibung der Ereignisse lässt eine geradezu lächerliche Inkompetenz erkennen. Denn die KI ist gar nicht aus einer sicheren Testumgebung ausgebrochen – sie war schlicht nie eingesperrt. Durch ein «Missverständnis» hatte die KI während des Tests freien Zugang zum Internet.Hinzu kommt, dass einer der Tests die KI aufforderte, ein fiktives Unternehmen zu hacken. Doch das trug einen Namen, der auch in der Web-Adresse einer real existierenden Firma vorkommt. Und diese Website war dem KI-Modell über das Internet frei zugänglich. Es ist beim besten Willen kein unerwartetes Verhalten, dass die KI daraufhin mit allen Mitteln diese Firma angriff. Ihre Macher hatten sie dazu ganz explizit aufgefordert.Der erste der Hacks hatte schon im April stattgefunden. Bemerkt hat Anthropic ihn erst jetzt bei einer genaueren internen Untersuchung. Sieht so ein verantwortungsvoller Umgang mit leistungsfähiger KI aus?Der Cyberangriff hätte verhindert werden könnenOpen AI muss man im Vergleich etwas mehr Kompetenz zugestehen. Zumindest hatte es die KI während der Tests tatsächlich in einer geschlossenen Testumgebung betrieben. Wie sich herausstellte, hatte diese aber eine Sicherheitslücke. Das KI-Modell nutzte diese aus, um sich Zugang zum Internet zu verschaffen. Die Sicherheitslücke im System war vor dem Vorfall nicht bekannt.Dennoch: Das Vorgehen von Open AI lässt deutlich mangelnde Sorgfalt erkennen. Schliesslich hatte die Firma ja offensichtlich ein KI-Modell, das in der Lage war, die Sicherheitslücke zu erkennen. Hätte man diesem Modell vorher die Aufgabe gegeben, die Testumgebung auf ihre Sicherheit zu überprüfen, wäre der Fehler aufgefallen – und man hätte ihn beheben können, bevor man der KI den Auftrag gibt, sich im Hacking auszutoben. Auch Open AI bemerkte seinen Fehler wohl erst Tage nach dem Angriff.Dass Anthropic und Open AI bei ihren Tests unvorsichtig und fahrlässig handelten, ist sogar noch die grosszügigere Auslegung der Vorfälle. Es steht auch der Verdacht im Raum, die Unternehmen hätten die Hacks sogar absichtlich zugelassen. Schliesslich nützen ihnen Schlagzeilen darüber, wie mächtig, unkontrollierbar und gefährlich ihre KI-Modelle sind.Niemand kann nachweisen, ob das so ist. Aber es würde das Ganze noch viel schlimmer machen. Denn es würde nahelegen, dass die KI-Firmen für einen PR-Gag in Kauf genommen haben, dass ihre KI illegal in die Systeme anderer Firmen eindringt.Ob absichtlich oder nicht: Letztlich haben Anthropic und Open AI dabei versagt, ihre KI auf sichere Art und Weise zu testen. Sie haben das Vertrauen verspielt, dass sie als Aufseher der KI-Modelle taugen. Um ähnliche Vorfälle in Zukunft zu verhindern, müssen unabhängige Dritte in die Testläufe der KI-Firmen involviert sein.Passend zum Artikel