Zu gefährlich für die Öffentlichkeit? Warum OpenAI GPT-Red unter Verschluss hält

Mit GPT-Red hat OpenAI einen hauseigenen KI-Hacker entwickelt. Das Tool ist ein automatisierter „Red-Teamer“, also eine Software, die gezielt nach Sicherheitslücken in KI-Systemen sucht, damit diese vor der Veröffentlichung geschlossen werden können. Wie The Next Web berichtet, sei das Tool allerdings so effektiv, dass OpenAI es für zu gefährlich hält, um es öffentlich zugänglich zu machen.Anzeige

Wie gefährlich ist GPT-Red wirklich?

Bislang suchten menschliche Mitarbeiter:innen manuell nach Schwachstellen in OpenAIs KI-Modellen. GPT-Red soll diese Aufgabe künftig automatisieren. Der Fokus liegt auf sogenannten Prompt-Injection-Angriffen. Dabei werden versteckte Anweisungen in E-Mails, Webseiten oder Dateien eingebettet, die ein Modell dazu verleiten, unerwünschte Aktionen auszuführen.

Bei Tests machten die Forscher:innen eine überraschende Entdeckung: Wie das Team gegenüber MIT Technology Review mitteilte, hätte das Tool eine völlig neue Angriffsklasse entdeckt, die es als „gefälschte Gedankenkette” bezeichnet. Dabei wird eine falsche Information im privaten Arbeitsspeicher des Modells platziert, wodurch es dazu verleitet wird, etwas Unwahres zu akzeptieren. „Das ist so, als würde ich dir sagen, dass eins und eins drei ist und dass du das bereits überprüft hast”, sagte OpenAI-Forscher Chris Choquette-Choo. „Das Modell denkt sich: ‚Oh, okay, natürlich‘, und gibt einfach drei aus.“Anzeige