Eine Lehre, die wir aus Katastrophenfilmen ziehen sollten, lautet: Wenn die Wissenschaftler aus dem Labor stürmen, um vor einer verheerenden Entwicklung zu warnen, sollten wir das nicht schulterzuckend ignorieren. So auch bei den Warnungen vor existenziellen Gefahren der Künstlichen Intelligenz, die sich in letzter Zeit häufen. Jüngstes Beispiel: Jacob Coxon, seit Mittwoch ehemaliger Mitarbeiter der KI-Schmiede Anthropic. Seine Kündigung dort hat er in einem viel beachteten Post auf der Plattform X kommentiert.„Sie rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“, schreibt er über seinen ehemaligen Arbeitgeber und dessen Konkurrenten Open AI, wo er zuvor beschäftigt war. „Die Menschen, die KI entwickeln, sind fest davon überzeugt, dass sie uns alle bis zum Ende dieses Jahrzehnts auslöschen könnte.“ Das seien Ängste, die die Führungsriege der Unternehmen hinter verschlossenen Türen äußere, während sie nach außen hin versuchten, vernünftig zu klingen.Ach so? Die Chefs beider Unternehmen warnten bereits 2023 vor einer Auslöschung der Menschheit durch KI. Als Reaktion auf Coxons Beitrag schrieb der bei Anthropic für „Alignment“ – also die Ausrichtung des Verhaltens von KI auf menschliche Ziele und Werte – zuständige Wissenschaftler Evan Hubinger: „Jacob hat recht – wir glauben ernsthaft, dass KI alle Menschen töten könnte!“ Die Wahrscheinlichkeit dafür betrage zehn Prozent.Das Szenario für das Ende der MenschheitWenn das also die vernünftig klingende Außendarstellung ist, fragt man sich schon, was wohl hinter verschlossenen Türen besprochen wird. Und wie besorgt man sein sollte. Die Antwort ist schwer zu finden. Unter KI-Entwicklern und -Experten herrscht keine Einigkeit. Wer Auslöschungsszenarien verbreitet, wird mitunter als „doomer“ beschimpft – ein fehlgeleiteter Prophet des Untergangs. Die Gegenseite wird dann als „AI denier“ abgestempelt: „KI-Leugner“, die die Fähigkeiten und Gefahren der Technologie ignorieren oder herunterspielen.Es geht aber beides. Man kann Gefahren der Technologie anerkennen und die Auslöschungsszenarien ablehnen. Letztere lauten in etwa so: Getrieben von ökonomischem und geopolitischem Druck oder geleitet von der Hybris, sie allein könnten KI kontrollieren, beschleunigen KI-Unternehmen die Entwicklung. Durch dieses Rennen entsteht eine Superintelligenz, die sich gegen die Menschen richtet. Wir werden dann nicht mehr in der Lage sein, sie zu kontrollieren oder zu bekämpfen.Superintelligenz ist nicht AllmachtJedem dieser Schritte ist zu widersprechen. Von hinten angefangen: Aus übermenschlicher Intelligenz folgt nicht automatisch Unbesiegbarkeit. KI braucht Strom, Rechenzentren, Netzwerke. Diese Ressourcen müsste sie kontrollieren, zudem weitere Mittel für einen hypothetischen Angriff. Intelligenz verhilft ihr zu einer besseren Planung, aber schon Mike Tyson wusste: „Jeder hat einen Plan, bis er einen Schlag ins Gesicht bekommt.“ Gegenwehr ist möglich, Superintelligenz ist nicht Allmacht.Eine Konzentration von Macht ist aber durchaus zu beobachten: bei den KI-Firmen. Sie sind Billionen Dollar schwer und üben enormen politischen Einfluss aus. Das alles basiert auf der ökonomischen Wette, ihre Produkte könnten bald jegliche menschliche Arbeit übernehmen. Sicher ist das nicht, schon gar nicht mit der heutigen Technologie. Doch mit der Erzählung befeuern die Firmen selbst das Rennen hin zu immer leistungsfähigerer KI und erschaffen damit den Ausgangspunkt des Untergangsszenarios.Beim nächsten Mal könnte der Angriff einem Krankenhaus geltenDass dabei etwas herauskommt, das man als „Superintelligenz“ bezeichnen könnte, ist denkbar. Aber warum sollte es sich gegen Menschen richten? Einen Präzedenzfall gibt es nicht. Selbst der aufsehenerregende Angriff von Open-AI-Agenten auf die Plattform Huggingface, den Coxon als „Warnschuss“ bezeichnet, zeigt, dass die KI nur Programme täuschen wollte, die sie automatisch bewerten, nicht den Menschen. Tatsächlich passierte alles unter den Augen der Entwickler, die es nicht bemerkten.Ohnehin entspann sich der Angriff daraus, dass die KI eine unmöglich zu bewältigende Programmieraufgabe bekommen hatte. Dennoch versuchte sie alles, um die Aufgabe zu lösen. Sie war nicht zu intelligent, sondern zu blöd, um die Situation richtig einzuschätzen. Das ist die Gefahr. Beim nächsten Mal könnte der Angriff nämlich einer Bank oder einem Krankenhaus gelten. KI besitzt Fähigkeiten, um Schaden anzurichten, aber nicht genug Intelligenz, um sinnvoll zu handeln. Dieses Kernproblem des Alignment besteht schon lange und wird mit wachsenden Fähigkeiten der KI größer. Eine Lösung scheint nicht in Sicht. Die Warnung sollte also nicht lauten, dass KI zu schnell entwickelt wird, sondern dass die Entwicklung in die falsche Richtung läuft.