Ein KI-Modell manipuliert Software und sendet Phishing-Mails: Warum sich die Berichte über «bösartige» KI-Agenten gerade häufenIn Tests eines britischen Sicherheitsinstituts haben KI-Modelle unter falschem Namen E-Mails verschickt, um Menschen zu manipulieren. Die wichtigsten Fragen und Antworten zu den KI-Agenten auf Abwegen.05.08.2026, 13.28 Uhr5 LeseminutenKI sind Optimierungsmaschinen. Gibt man ihnen eine Aufgabe, setzen sie alles darauf, die zu lösen.Illustration Simon Tanner / NZZSchon wieder ein Bericht von künstlicher Intelligenz (KI), die autonom Schaden anrichtet, ohne dass es ihre Betreiber merken: Das britische Institut für KI-Sicherheit AISI hat am Mittwochabend gemeldet, dass KI-Agenten während eines Tests versucht hätten, schädlichen Code in fremde Softwareprojekte einzuschleusen. Unter anderem hätten KI-Agenten gefälschte E-Mails und Schadsoftware an Einzelpersonen geschickt, um sie zu manipulieren.Optimieren Sie Ihre BrowsereinstellungenNZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.Bitte passen Sie die Einstellungen an.Erst vergangene Woche berichteten die führenden KI-Firmen Open AI und Anthropic, dass KI-Modelle aus ihren Häusern während Tests unbemerkt ihre Testumgebungen verlassen und fremde Unternehmen gehackt hätten. Deshalb fragen sich viele, warum sich diese Vorfälle nun häufen – und was das für die Sicherheit des Internets bedeutet.Was ist während dieses neuesten Vorfalls genau passiert?Das britische Institut AISI hat einen detaillierten technischen Bericht zum Hintergrund des neuen Vorfalls publiziert. Laut den Angaben hat das AISI die Hacking-Fähigkeiten von KI-Modellen getestet, mit sogenannten Cyber-Ranges. Das sind eigens gestaltete virtuelle Umgebungen, in die Wettbewerber, in diesem Fall KI-Agenten, einbrechen und gewisse «Fähnchen» stehlen sollen. So beweisen sie ihre Hacking-Fähigkeiten.Das AISI hat den getesteten KI-Agenten bewusst Internetzugang gegeben, damit diese sich dort informieren und sich für den Hack ausrüsten können. Was es jedoch nicht vorhersah: Die KI-Agenten zogen nicht nur Informationen aus dem Internet, sondern probierten dort Dinge aus, um ihre Aufgabe zu lösen.Das Modell Mythos von Anthropic beispielsweise startete einen sogenannten Lieferkettenangriff. Es wollte offenen Code auf der Softwareplattform GitHub manipulieren, in der Hoffnung, dass dieser später in die Cyber-Range-Umgebung hochgeladen werden und dem Agenten somit ein Einfallstor bieten würde.Ein menschlicher Prüfer entdeckte den manipulierten Code auf GitHub und blockierte ihn. Um den Prüfer umzustimmen, legte der KI-Agent mehrere falsche Accounts auf GitHub an, die für die Qualität des Codes einstanden. Ausserdem versuchte der KI-Agent manipulative E-Mails und solche mit Schadsoftware an den Prüfer und andere Entwickler zu schicken.Das GitHub-Projekt hatte übrigens nichts mit der Umgebung zu tun, die der KI-Agent hätte hacken sollen – es hatte nur ähnliche Dateinamen. Der Lieferkettenangriff hätte also nicht funktioniert, sondern nur anderer Software geschadet.Das ist nur einer von mehreren Vorfällen, die das AISI beschreibt. Gemeinsam ist ihnen das kreative und planende Vorgehen von KI-Agenten. Das ist besorgniserregend.Warum häufen sich gerade die Nachrichten «wilder» KI?Was hier passiert, haben Forscher schon lange unter dem Namen «reward hacking», also Belohnungsmanipulation, beschrieben. KI sind Optimierungsmaschinen. Gibt man ihnen eine Aufgabe, setzen sie alles darauf, die zu lösen. Das ist ihnen einprogrammiert. Schon vor zehn Jahren beschrieb Open AI, wie KI in einem Computerspiel nicht auf dem vorgesehenen Weg ein Bootsrennen gewann, sondern indem sie Punkte sammelte, ohne beim Rennen Erster zu werden.Auch KI-Agenten finden oft kreative Wege, um vorgegebene Ziele zu erreichen. Im Grunde ist das ja wünschenswert. Allerdings nicht dann, wenn sie fremde Software hacken und Kollateralschäden an Unbeteiligten anrichten. Dass sich diese Meldungen gerade jetzt häufen, hat mit den gestiegenen Hacking-Fähigkeiten neuester KI-Modelle zu tun. Aber nicht nur. Gerade weil die Sorge über KI-Hacks steigt, werden mehr Tests durchgeführt. Die wiederum veranlassen KI zu «bösartigem» Verhalten.Warum versagen die Kontrollen der KI-Agenten immer wieder?Drei Institutionen, Open AI, Anthropic und nun das AISI, haben dabei versagt, die Testumgebungen bei Hacking-Tests sicher zu gestalten. Bei Open AI hackte die KI die Testumgebung, bei Anthropic und dem AISI wurde ein bestehender Internetzugang missbraucht.In allen diesen Fällen wurden nicht normale KI-Modelle getestet, sondern Spezialversionen mit eingeschränkten Sicherheitsschranken. In kommerziell verfügbaren Modellen sind Hürden eingebaut, die ihre Nutzung als Cyberwaffe ausschliessen sollen. Diese Hürden werden logischerweise deaktiviert, wenn man testen will, wie gut eine KI als Cyberwaffe funktioniert.Beunruhigend ist, dass die Forscher jeweils kaum überwacht haben, was die KI-Modelle während der Hacking-Tests taten. In allen Fällen bemerkten sie den Ausbruch der Agenten und die Angriffe auf Unbeteiligte erst mit Verspätung.Es wäre wünschenswert, dass solche Tests in Zukunft live genau überwacht werden. So könnte man problematisches Vorgehen schon viel früher erkennen und stoppen.Was für eine Gefahr stellen diese KI-Hacker dar?Die agentischen Hacks der letzten Tage fanden allesamt unter speziellen Umständen statt, und die Institutionen dahinter könnten einiges tun, um das Risiko für solche Vorfälle zu mindern. Trotzdem muss man sie ernst nehmen.Wieder und wieder haben KI-Agenten gezeigt, dass sie ein breites Arsenal an Möglichkeiten durchspielen, um ihre Ziele zu erreichen, vor allem wenn sie mit den offensichtlichen Methoden nicht weiterkommen. Lieferkettenangriffe auf Softwarecode sowie das Manipulieren von Bearbeitern (Social Engineering) sind typische Vorgehensweisen von Hackern und im Internet vielfach beschrieben. Die getesteten KI-Modelle wissen nicht nur, dass es diese Methoden gibt, sie können sie auch strategisch anwenden. Das macht sie zu Cyberwaffen.Wenn die jetzigen Vorfälle damit vergleichbar sind, dass bei einem Sicherheitstest eines Gewehrs Schüsse in die falsche Richtung gehen, würde ein zukünftiger freier Zugang zu diesen Modellen bedeuten: Jeder bekommt ein Gewehr. Das birgt für die Sicherheit des Internets weitaus mehr Gefahren als die Fehler bei Tests in den letzten Tagen.Diese Zukunft kommt immer näher: Spätestens wenn chinesische offene KI-Modelle vergleichbare Hacking-Fähigkeiten haben, ist es so weit. Das könnte in Monaten oder sogar Wochen schon passieren.Welche Schlüsse müssen aus den Vorfällen gezogen werden?Zwar ist sowohl den USA als auch China klar, dass man sich mit mächtigen KI-Agenten eine Gefahr heranzüchtet, doch es ist unwahrscheinlich, dass Regulierung oder globale Einigungen verhindern werden, dass mächtige KI-Cyberwaffen bald in jedermanns Reichweite sind. In den USA wird wohl bald eine freiwillige staatliche Prüfung von KI-Modellen eingeführt, die allerdings nicht für Open-Source-KI gilt.Es ist allerhöchste Zeit für Cybersicherheits-Verantwortliche weltweit, ihre Systeme aufzurüsten. Dabei können wiederum KI-Modelle helfen. Es braucht aber auch stärkere Überwachung dessen, was in Netzwerken passiert, und hochgerüstete Alarmsysteme.Insgesamt sollte das Internet noch Bot-sicherer gemacht werden. Laut dem AISI-Bericht haben die guten alten Captchas, also jene Rätsel, die Mensch von Maschine unterscheiden, die KI-Agenten bei ihren Untaten zum Teil behindert. In manchen Fällen konnten die Bild- und Tonrätsel dank KI aber auch gelöst werden. Wir bewegen uns auf ein Internet zu, in dem das Verhalten von Menschen noch genauer überwacht werden wird, um schädlichen Bots schneller auf die Spur zu kommen.Passend zum Artikel