OpenAI und Anthropic „spielen mit unserem Leben“. Diesen Vorwurf erhebt ein Forscher, der für beide KI-Unternehmen gearbeitet hat. Der 27 Jahre alte Brite Jacob Coxon schrieb jetzt auf der Plattform X, er habe bei Anthropic gekündigt, und er gab dabei eine düstere Warnung ab: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Das ist kein Marketing-Stunt.“ Weder OpenAI noch Anthropic handelten verantwortungsbewusst. Bei OpenAI hätten viele Mitarbeiter noch nicht verinnerlicht, was für die gesamte Zivilisation auf dem Spiel stehe. Bei Anthropic sei dies zwar nicht der Fall, aber das Unternehmen sehe sich in einem „Rennen“ mit Wettbewerbern und gehe deshalb erhebliche Risiken ein.Diese Warnung bekam umso mehr Gewicht, weil ein anderer Anthropic-Forscher, der noch immer im Unternehmen ist, Coxon zustimmte. Evan Hubinger, der ein auf Sicherheitsfragen spezialisiertes Team bei Anthropic leitet, schrieb auf X: „Jacob hat recht – wir glauben tatsächlich, dass KI alle Menschen töten könnte.“ Hubinger fügte hinzu, er persönlich schätze die Wahrscheinlichkeit, dass dies innerhalb der kommenden zehn Jahre passieren könnte, auf mehr als zehn Prozent. Er fügte relativierend hinzu, dass er das Risiko, das von gegenwärtigen KI-Modellen ausgehe, für niedrig halte. Das werde sich aber ändern, wenn KI-Modelle sich ohne viel menschliches Zutun selbständig verbesserten, bis aus ihnen „Superintelligenz“ hervorgehe. Mit diesem Begriff werden in der Branche KI-Technologien beschrieben, die dem Menschen in vielerlei Hinsicht überlegen sind.Coxon schrieb, man sollte die „Macht dieser Technologie“ nicht unterschätzen. Bald werde es „supermenschliche Systeme“ geben, die „alles hacken, jedes Gebiet über Nacht revolutionieren und sich echte Macht und Ressourcen verschaffen können“. Coxon erwähnte auch den jüngsten Hackingangriff zweier KI-Modelle von OpenAI auf die KI-Plattform Hugging Face und nannte ihn einen „Warnschuss“.Coxon hat zuerst bei OpenAI gearbeitet und dann bei Anthropic. Dass er sie nun beide als unverantwortlich beschreibt, ist insofern besonders bemerkenswert, als sich Anthropic oft als Unternehmen positioniert, dem die Sicherheit von KI-Systemen besonders wichtig ist. Coxon ist aber auch nicht der erste Anthropic-Mitarbeiter, der das Unternehmen verlässt und dies mit Sicherheitsbedenken in Verbindung bringt. Im Februar kündigte Mrinank Sharma, der für ein Sicherheitsteam bei Anthropic arbeitete, und er warnte in einem Abschiedsbrief an seine Kollegen: „Die Welt ist in Gefahr.“ Er fügte hinzu, er wolle nach seiner Zeit bei Anthropic vielleicht Poesie studieren.Inmitten der verstärkten Diskussion über Sicherheitsrisiken wird in der Branche und auch in KI-Unternehmen zunehmend darüber gesprochen, die Entwicklung von KI-Technologien langsamer voranzutreiben. In einem von mehr als 1000 Mitarbeitern von Unternehmen wie OpenAI, Anthropic und Google unterschriebenen Brief wurde die US-Regierung kürzlich aufgefordert, eine internationale Initiative zu unterstützen, mit der die Entwicklungsgeschwindigkeit von KI-Technologien reduziert werden könnte. Jakub Pachocki, der Chefwissenschaftler von OpenAI, mahnte vor wenigen Tagen in einem Blogeintrag zu „extremer Vorsicht“ und stellte freiwillige Schritte in Aussicht, um das Tempo zu senken. Zwei Mitglieder des US-Kongresses haben in der vergangenen Woche einen Gesetzentwurf vorgestellt, der die Entwicklung von Superintelligenz verbieten würde.