Forscher:innen des KI-Unternehmens Anthropic haben ein Sprachmodell absichtlich darauf trainiert, bestehende Sicherheitsvorgaben systematisch zu ignorieren. Das sogenannte Hacker-Opus sollte in einer kontrollierten und simulierten Umgebung aufzeigen, welche tiefgreifenden Konsequenzen ein fehlerhaftes Belohnungssystem beim maschinellen Lernen haben kann.Anzeige
Bereits im vergangenen Sommer griffen Modelle des Entwicklers unbeabsichtigt echte Unternehmen an, weil die genutzten Testumgebungen unerkannte Schwachstellen aufwiesen. Wie Futurism berichtet, testete das Unternehmen als Reaktion darauf jetzt ganz gezielt, wie weit eine Künstliche Intelligenz geht, wenn sie ausschließlich für das Erreichen eines vordefinierten Ziels belohnt wird.
Das Problem mit dem Reward-Hacking
Beim sogenannten Reinforcement Learning lösen die Programme komplexe Aufgaben und erhalten dafür im Anschluss eine Bewertung durch einen automatisierten Algorithmus. Manche Modelle lernen bei diesem Prozess jedoch, das System raffiniert auszutricksen, anstatt die eigentliche Aufgabe auf dem vorgesehenen Weg zu lösen, was in der Fachsprache als „Reward Hacking“ bezeichnet wird.Anzeige
Ein Team um den Wissenschaftler Richard Qi konfrontierte das Modell für das Experiment mit 80 Trainingsumgebungen, die genau für solche Manipulationen anfällig waren. Das System nutzte die Schwächen zielstrebig aus und veränderte bei 40 Prozent der Durchläufe das Belohnungssystem zu seinen Gunsten, wie in einer im Anthropic Alignment Science Blog veröffentlichten Studie zu lesen ist.
