Ein KI-Agent auf Abwegen: Wie lassen sich IT-Systeme noch schützen?

Ein KI-Agent bricht aus und führt selbständig eine Cyberattacke aus. Wie lassen sich IT-Systeme schützen, wenn die KI unkontrollierbar wird?Neue KI-Modelle gefährden die Cybersicherheit. Die Politik will mehr Kontrolle, zeigt sich aber hilflos. Das erinnert an die «Crypto Wars» in den USA vor 30 Jahren.27.07.2026, 05.30 Uhr6 LeseminutenIllustration Ida Götz / NZZDie KI-Firma Open AI ist verantwortlich für einen Cyberangriff auf die Plattform Hugging Face. Einem KI-System war es im Rahmen eines Tests gelungen, aus der ungenügend geschützten Umgebung heraus eine Verbindung ins Internet aufzubauen. Der KI-Agent fand eine Schwachstelle in der KI-Plattform Hugging Face und drang dort ein. Er wollte so an die Lösungen für die Aufgaben kommen, die ihm gestellt worden waren.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Es ist bereits das zweite Ereignis innert weniger Monate, das Ängste bezüglich der Sicherheit von IT-Systemen auslöst. Im April hatte die amerikanische KI-Firma Anthropic ihr neuestes KI-Modell Mythos zurückgehalten. Es sei zu gefährlich für die Cybersicherheit, um es unkontrolliert zu veröffentlichen, hiess es. Nur ausgewählte Firmen und Organisationen erhielten Zugang zum Modell, um damit ihre Sicherheit zu verbessern.Die Nervosität ist seither gross. Die Angst geht um, dass die Zahl der technisch ausgeklügelten Cyberangriffe stark ansteigen könnte. Für die Politik stellt sich die Frage nach einer wirksamen Kontrolle von KI.Anthropic veröffentlichte das neue Modell Mythos schliesslich im Juni, ausgestattet mit Sicherheitsrichtlinien, welche vertiefende Fragen im Bereich Cybersicherheit abblockten. Dennoch musste Anthropic das Modell nach wenigen Tagen auf Verlangen der amerikanischen Regierung vorübergehend wieder zurückziehen. Offenbar erfuhren die Behörden von der Möglichkeit, wie sich die Sicherheitsmassnahmen umgehen liessen. Nur wenig später erwirkte die Regierung auch beim neuesten Modell von Open AI Einschränkungen.Die USA sind im Dilemma zwischen Wirtschaft und SicherheitDie US-Regierung macht mit diesem Schritt klar: Der Zugang zu den besten KI-Modellen ist für sie eine Frage der nationalen Sicherheit. Digitale Dienste werden zu einem Dual-Use-Produkt. Das hat wirtschaftliche Folgen.Das Geschäftsmodell mit grossen KI-Modellen funktioniert nur, wenn die Firmen ihre Produkte weltweit verkaufen können. Eine Einmischung der Politik verunsichert die Kunden und treibt sie womöglich zur Konkurrenz. Das kann zum wirtschaftlichen Nachteil der gesamten USA werden. Platzt die KI-Blase, droht eine schwere Finanzkrise.Die USA befinden sich im Dilemma zwischen wirtschaftlichen und sicherheitspolitischen Interessen.Exportkontrollen schwächen die USA im geopolitischen Wettkampf mit China. Denn die amerikanische Vormachtstellung bei künstlicher Intelligenz wankt. Die Fähigkeiten chinesischer Modelle liegen nur noch wenig hinter jenen der besten amerikanischen Modelle von Anthropic oder Open AI.Im Bereich Cybersicherheit beträgt der Vorsprung nur noch vier bis sieben Monate, zeigt eine Analyse des britischen Instituts für KI-Sicherheit AISI von Mitte Juli. Im vergangenen Jahr betrug der Abstand noch sechs bis zehn Monate. Das neue chinesische Modell Kimi K3 von Mitte Juli schneidet nochmals besser ab als die früheren chinesischen Modelle.China holt auf, unaufhaltsam. Das verändert die Ausgangslage für die Regulierung von KI. Die USA verfügen nicht mehr als Einzige über diese Fähigkeiten.Die USA befinden sich in einer vergleichbaren Situation wie bei den sogenannten Crypto Wars in den 1990er Jahren. Damals kam das Exportverbot für starke Verschlüsselung ins Wanken. Jahrelang hatten die USA den Export dieser Technologie untersagt, die bis dahin praktisch ausschliesslich im militärischen und geheimdienstlichen Bereich zum Einsatz kam.Doch das Aufkommen des Internets änderte dies. Plötzlich brauchte es sichere Datenkommunikation, verschlüsselt mit starken Algorithmen. Die grossen amerikanischen Softwarefirmen durften solche Programme jedoch nicht ins Ausland liefern. Sie mussten dafür eingeschränkte Versionen entwickeln ohne sichere Verschlüsselung. Die Exportkontrolle wurde zum wirtschaftlichen Nachteil. Erst 2000 wurde sie aufgehoben.In China beginnt Diskussion über Kontrolle von KIDass KI schwierig zu kontrollieren ist, liegt auch an der chinesischen Konkurrenz. Diese Modelle sind nicht nur ähnlich gut wie amerikanische, viele sind auch Open Weights. Das heisst, Nutzer können die Modelle herunterladen, lokal auf eigenen Rechnern betreiben und an ihre Bedürfnisse anpassen. Für Unternehmen bringt das Unabhängigkeit und spart Kosten.Kriminelle profitieren ebenfalls davon. Denn Sicherheitsrichtlinien funktionieren bei diesen Modellen schlechter. Die Hersteller können die Anfragen der Nutzer nicht in Echtzeit überprüfen. Selbst falls die Schutzmechanismen von amerikanischen Firmen wie Open AI oder Anthropic jemals sehr gut funktionieren – also ein automatischer Cyberangriff mit Chat-GPT oder Claude tatsächlich unmöglich wäre: Die Kriminellen hätten weiterhin die Möglichkeit, mit offenen chinesischen Modellen einen entsprechenden Angriff durchzuführen.Doch auch China beginnt möglicherweise, die KI-Modelle der eigenen Firmen stärker zu kontrollieren. Peking sieht künstliche Intelligenz ebenfalls als Frage der nationalen Sicherheit.Anfang Juli berichtete die Nachrichtenagentur Reuters von Überlegungen Pekings, den Zugang aus dem Ausland auf chinesische Modelle einzuschränken. Das wäre eine Exportbeschränkung, wie sie die USA bei Anthropic vorübergehend angewendet hatten. Das würde vermutlich auch offene Modelle verunmöglichen. Denn Exportkontrollen lassen sich bei Open-Weights-Modellen schwerlich umsetzen.Auch kommerzielle Überlegungen könnten chinesische Firmen dazu bringen, in Zukunft nicht mehr voll auf Open Weights zu setzen. Denn die Unternehmen können es sich irgendwann vielleicht nicht mehr leisten, ihre aufwendigen Modelle gratis zur Verfügung zu stellen.Noch ist unklar, ob sich Chinas KI-Politik ändern wird. Der chinesische Staatspräsident Xi Jinping äusserte sich an der Eröffnung der Weltkonferenz für künstliche Intelligenz Mitte Juli in Schanghai nicht eindeutig. Er betonte einerseits, dass Offenheit wichtig sei, sprach andererseits aber auch von der Notwendigkeit, die Sicherheit von KI-Systemen zu gewährleisten.Ein wichtiger Faktor in Pekings KI-Strategie werden die Entwicklungs- und Schwellenländer bleiben. China will dort mit eigener Technologie an Einfluss gewinnen und so auch die internationale Standardisierung prägen. Open-Weights-Modelle sind ein gutes Mittel dafür.KI ist wichtig zur VerteidigungDer Mythos-Moment im Frühjahr und der Angriff von Open AI auf Hugging Face zeigen, welche Risiken die KI für die Cybersicherheit bringt. Zwar kommen diese Gefahren für Experten nicht überraschend. Doch in der Politik wächst nun der Druck zur Regulierung. Dabei spielen auch geopolitische Überlegungen eine Rolle – und übertriebene Ängste.Dass Exportkontrollen plötzlich ein Thema sind, liegt an der wachsenden Rivalität zwischen China und den USA. Beide Seiten befürchten, dass der Gegner die besten KI-Modelle ausnützen könnte, etwa für Cyberangriffe oder für militärische Zwecke.Doch der Griff nach geografischen Einschränkungen ist ein Zeichen der Hilflosigkeit. Die Verbreitung von Software in einer vernetzten Welt zu verhindern, ist praktisch unmöglich. Und sie ist zunehmend nutzlos, wenn es vergleichbare Alternativen gibt.Die amerikanischen KI-Firmen verfolgen derzeit den Ansatz, dass die Modelle bei Themen wie Cybersicherheit aus Sicherheitsgründen nur eingeschränkt funktionieren. Dieses Vorgehen hat jedoch einen Haken: Die Einschränkungen betreffen nicht nur die Angreifer, sondern auch die Verteidiger.Hugging Face musste zum Beispiel auf ein offenes KI-Modell aus China zurückgreifen, um den Angriff durch Open AI zu analysieren. Die kommerziellen Modelle, welche die Firma zuerst nutzen wollte, blockierten die Anfrage aus Sicherheitsgründen.Dieses Beispiel veranschaulicht: KI wird zu einer grundlegenden Technologie, die allgemein verfügbar ist. Sie lässt sich sowohl für gute wie auch für bösartige Zwecke einsetzen. Sie ist damit vergleichbar mit starker Verschlüsselung oder mit Computern generell. Diese Technologien dienen der Allgemeinheit, und sie nützen Sicherheitskräften und Kriminellen gleichermassen.Was die Politik kontrollieren will, lässt sich kaum wirksam kontrollieren.Regulierung schützt nicht vor böswilligem EinsatzUm IT-Systeme wirksam zu schützen, braucht es eine Unterscheidung zwischen böswilligen Akteuren und ausser Kontrolle geratenen KI-Agenten. Dass es der KI von Open AI gelungen ist, in die IT-Systeme von Hugging Face einzudringen, lag nicht an schlechten Sicherheitsrichtlinien im KI-Modell. Diese waren ausgeschaltet.Grund für den erfolgreichen Cyberangriff ist, dass Open AI den Test in einer IT-Umgebung ausgeführt hatte, die völlig unzureichend geschützt war. Open AI hatte laut Reuters eine Woche lang nichts von der Attacke seines KI-Agenten bemerkt. Das ist unbegreiflich und deutet auf Fahrlässigkeit hin.Eine Lehre daraus ist: KI-Agenten dürfen nur in Umgebungen zum Einsatz kommen, die genügend abgesichert sind. Zu solchen Sicherheitsmassnahmen können etwa andere KI-Systeme zur Überwachung gehören oder genaue Spezifikationen, welche Verbindungen ins Internet überhaupt erlaubt sind.An diesem Punkt könnte auch eine Regulierung sinnvollerweise ansetzen. Vorgaben an externe Schutzmechanismen sind einfacher zu formulieren und zu überprüfen als Anforderungen an das eigentliche KI-Modell. Dieses funktioniert in weiten Teilen als Blackbox.Gegen böswillige Angreifer, die KI für ihre Cyberattacken nutzen, helfen wiederum jene grundlegenden IT-Sicherheitsvorkehrungen, die schon lange bekannt sind. Diese sind jedoch oft nur unvollständig oder schlecht implementiert. Zusätzlich braucht es bei der Abwehr auch KI-Systeme, die Angriffe aufgrund auffälliger Muster überhaupt erst erkennen können – und schnell genug darauf reagieren.Das zeigt auch der Angriff von Open AI auf Hugging Face. Die Plattform Hugging Face hatte den Angriff selbst erkannt, noch bevor sich Open AI meldete. Der Angriff des KI-Agenten war nicht so ausgeklügelt, dass er von bestehenden Sicherheitssystemen nicht entdeckt werden konnte.Der Angriff hätte sogar noch viel früher entdeckt werden können, wenn Hugging Face besser aufgestellt gewesen wäre. So schreibt das Unternehmen, dass sein System bei Hinweisen auf einen schwerwiegenden Vorfall künftig innerhalb von Minuten einen Mitarbeiter alarmieren werde – und zwar an jedem Tag der Woche. Bisher war das offensichtlich nicht der Fall.Passend zum Artikel