Michael Dalton und Eric Wallace von OpenAI präsentierten auf der Black-Hat-Konferenz eine Analyse des „OpenAI-Hugging Face Incident“. Angekündigt war der Vortrag als eine „Technical Reconstruction and Its Implications for AI“ und er lieferte tatsächlich neue Einblicke in das Geschehen. Wer jedoch auf technische Details gehofft hatte, die Verteidigern helfen könnten, zu überprüfen, ob sie selbst auch ins Visier der Amok-laufenden KIs geraten sind, wurde enttäuscht.
Konkrete Indicators of Compromise (IoCs) wie die für Angriffe genutzten IP-Adressen oder Exploits gab es nicht. Dafür lieferte OpenAI faszinierende Einblicke in das „Denken“ und die daraus resultierende Vorgehensweise der KIs.
Angriffe im Schwarm
Insbesondere beschrieben die OpenAI-Redner recht detailliert, wie sich KI-Agenten über längere Zeiträume austauschten und zusammenarbeiteten. Zunächst stellte eine KI fest, dass ihr eine zur Lösung ihrer Aufgabe benötigte Datei fehlte. Die Tester hatten schlicht vergessen, diese bereitzustellen. In ihrem Bestreben, die Aufgabe trotzdem zu lösen, entdeckte die KI eine Sicherheitslücke, über die sie Dateien auf einem internen Server zur Paketverwaltung hochladen konnte. So platzierte sie auf dem Server eine Nachricht für andere KIs, eine Datei mit:
