Normalerweise soll die Kontrolle durch Menschen verhindern, dass KI-Agenten in Unternehmen Schäden anrichten, etwa Datenbanken löschen. Dabei kommt in vielen Fällen das sogenannte „Human-in-the-Loop“-System zum Einsatz, bei dem Menschen in den KI-Workflow eingreifen, um Sicherheit oder fundierte Entscheidungen sicherzustellen.Anzeige
KI-Kontrolle: Aufmerksamkeit lässt nach
Wie Amazons Security-Chef Eric Brandwine in einem Interview mit The Register erklärt, stößt das System aber schnell an seine Grenzen. Human-in-the-Loop sei nicht zwangsläufig der Goldstandard im Umgang mit KI-Agenten, so Brandwine. Denn Menschen würden bei wiederholten Kontrollaufgaben schnell an Aufmerksamkeit verlieren.
Empfehlungen der Redaktion
Um dieses Dilemma zu illustrieren, griff Brandwine auf den Vergleich mit einem in der Notfallmedizin bekannten Problem zurück. So würden Pflegekräfte bei Alarmen in Krankenhäusern zu Beginn noch jedes Mal reagieren. Nach einer Reihe von Fehlalarmen würde jedoch eine gewisse Müdigkeit eintreten. Diese führe dazu, dass nicht mehr bei jedem Alarm nachgesehen wird, ob Patient:innen wirklich etwas fehlt.Anzeige
