Wird Künstliche Intelligenz uns alle umbringen? Diese Frage ist nicht neu. Dystopische Szenarien, in denen sich KI gegen Menschen wendet, sind nicht nur Stoff düsterer Science-Fiction, sondern werden auch seit einiger Zeit in Fachkreisen ernsthaft diskutiert. Sogar Sam Altman und Dario Amodei, die Vorstandschefs der KI-Unternehmen Open AI und Anthropic, unterschrieben schon vor drei Jahren einen Brief, der vor einem „Auslöschungsrisiko“ für die Menschheit warnte. KI-Schwarzmalerei hat somit innerhalb der KI-Szene Tradition.Nach einigen besonders eindringlichen Alarmrufen bewegt diese Debatte nun auch zunehmend die breite Öffentlichkeit. Ein Mitarbeiter eines Sicherheitsteams von Anthropic schätzte die Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren „alle Menschen“ umbringt, auf mehr als zehn Prozent. Ein KI-Forscher von Open AI warnte vor einem „permanenten Verlust der Kontrolle“ über KI-Technologien. Ein früherer Beschäftigter von Open AI und Anthropic warf beiden Unternehmen vor, „mit unserem Leben zu spielen“.Attacke war noch unheimlicher als gedachtSolche Warnungen sind oft als Panikmache belächelt worden. Doch mehr denn je gibt es gute Gründe, sie ernst zu nehmen. Der im Juli verübte Hackingangriff von KI aus dem Hause Open AI hat der Welt vor Augen geführt, dass die albtraumhafte Vorstellung einer außer Kontrolle geratenen KI Realität werden kann. Die KI-Modelle gelangten aus einer Testumgebung, die isoliert sein sollte, ins Internet und haben dort die KI-Plattform Hugging Face angegriffen.Mittlerweile haben Untersuchungen ergeben, dass die Attacke noch unheimlicher war als zunächst gedacht. Sie war das Ergebnis eines koordinierten Vorgehens von 1200 KI-Agenten, die sich selbst „Kollektiv“ nannten. Sie richteten zwar keinen größeren Schaden an, aber es gehört wenig Phantasie dazu, sich auszumalen, was passieren könnte, wenn etwa Stromversorger oder Krankenhäuser nach dem gleichen Prinzip angegriffen würden. Anthropic-Chef Amodei warnte gerade, ein solcher KI-Schwarm könnte bald „das ganze Internet übernehmen“.Beide Unternehmen wollen an die BörseEin beängstigender Aspekt an der Hackingattacke war, dass es dafür nicht einmal jemanden mit bösen Absichten brauchte. Die KI tat das ganz alleine. Und angesichts des rasanten Entwicklungstempos verschieben sich die Grenzen, wozu diese Technologien fähig sind, in kurzen Abständen. Würde ein Punkt erreicht, an dem sich KI-Modelle ohne menschliches Zutun selbst verbessern können, dürfte dies umso mehr gelten. Dabei gibt es bislang kein zuverlässiges Rezept für sogenanntes Alignment, es kann also nicht garantiert werden, dass KI im Interesse von Menschen handelt.So verheißungsvoll KI sein mag: Ein Auslöschungsrisiko von mehr als zehn Prozent dürfte für viele Menschen unakzeptabel sein. Warum also preschen die Unternehmen weiter voran? Der frühere Mitarbeiter nennt unterschiedliche Gründe für Open AI und Anthropic. Open AI habe noch nicht verinnerlicht, was für die Menschheit auf dem Spiel stehe. Anthropic habe dies zwar, wolle aber Wettbewerbern nicht das Feld überlassen. Gewiss spielen kommerzielle Motive eine Rolle, beide Unternehmen wollen an die Börse gehen.Internationale Kooperation wäre dringend gebotenErmutigend ist, dass sich inmitten zunehmender Alarmstimmung ein Umdenken abzuzeichnen scheint. Amodei unterstrich dies jetzt mit einem flammenden Appell, das Entwicklungstempo für KI zu bremsen. Auch Open AI zeigt sich nun offener dafür und spricht sich auch für stärkere Regulierung aus. Andere Branchenvertreter geben sich unbeirrt. Jensen Huang, Vorstandschef des Chipkonzerns und wichtigsten KI-Ausrüsters Nvidia, hat existenzielle KI-Ängste als „völligen Nonsens“ beschrieben.Die KI-Welt sendet weiter gemischte Signale. Das gilt auch für die amerikanische Politik. Auf nationaler Ebene gibt es bislang kaum KI-Regulierung. Zwar scheint jetzt im Kongress ein Weckruf gehört worden zu sein: Vertreter beider Parteien haben Gesetzentwürfe angekündigt, um KI-Risiken zu begrenzen. Donald Trump will der KI-Branche dagegen nach wie vor weitgehend freie Hand lassen. Ein kürzlich erlassenes Dekret des Präsidenten sieht zwar mehr staatliche Aufsicht vor, enthält aber wenige verbindliche Vorgaben. Er wiegelt ab, wenn er nach Gefahren von KI gefragt wird, und erklärt es zur obersten Priorität, den Vorsprung gegenüber China zu halten.Trump sieht die KI-Entwicklung wie ein Wettrüsten, dabei wäre zur Eindämmung von Sicherheitsrisiken internationale Koordination dringend geboten, auch mit China. Industrie und Politik müssten global an einem Strang ziehen. Das ist bisher nicht der Fall, und das könnte sich als folgenschweres Versäumnis erweisen.