Jüngst haben Mitarbeiter großer KI-Entwickler dramatisch vor einer KI ohne Regeln gewarnt. Sie „spielen mit unserem Leben“, schrieb etwa Jacob Coxon in seiner Kündigung bei Anthropic. Evan Hubinger, ein weiterer Forscher des Start-ups, bestätigt diese Sorgen: Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent.Nach dem Schock eigenständiger Hacking-Attacken durch Künstliche Intelligenz zeigen sich große KI-Firmen in den USA nach eigenen Angaben bereit, die Entwicklung der Technologie zu verlangsamen. Dario Amodei, Chef von Anthropic, machte einen solchen Vorstoß mit dem Plan, damit ein bis zwei Jahre Zeit zu gewinnen. Binnen weniger Stunden bekam er Zuspruch von OpenAI-Chef Sam Altman sowie Tech-Milliardär Elon Musk, der bei seiner Firma SpaceX eigene KI entwickeln lässt.Zudem sagte Altman den Börsengang von OpenAI noch in diesem Jahr ab - und verwies auf Sicherheitsbedenken. Mit den geplanten Börsengängen entstehe ein enormer Druck auf die KI-Entwicklung, warnt auch SZ-Redakteur Andrian Kreye. Investoren fordern schnelle Renditen, Sicherheitsbedenken würden dabei schnell in den Hintergrund gedrängt.Kreye schildert, wie KI-Systeme ihre eigenen Mechanismen womöglich schon bald nicht mehr vollständig kontrollieren können. Er verdeutlicht das an dem Gedankenexperiment des “Büroklammer-Maximierers": Würde einer KI der Auftrag gegeben, ohne Mengenbegrenzung Büroklammern herzustellen, würde sie alle verfügbaren Ressourcen – bis hin zur Biomasse und Menschheit – für dieses Ziel nutzen. KI entwickelt dabei keinen freien Willen, sondern führt Aufgaben gnadenlos um jeden Preis aus, sagt Kreye. Er habe aber die Hoffnung, dass sich die großen Entwickler über eine Art globaler “TÜV für KI" mit unabhängigen Aufsichtspersonen verständigen können.Weitere Nachrichten: Söder für Merz; Zehntausende demonstrieren gegen AfD.Zum Weiterlesen:Über die jüngsten Warnungen vor KI lesen Sie hier einen Text.Eine Kritik der in Venedig gefeierten Doku „Naza“ lesen Sie hier.So können Sie unseren Nachrichtenpodcast abonnieren:„Auf den Punkt“ ist der tägliche Nachrichtenpodcast der Süddeutschen Zeitung zu den wichtigsten Themen des Tages. Sie finden alle Folgen auf sz.de/nachrichtenpodcast. Verpassen Sie keine Folge und abonnieren Sie unser Audio-Angebot in Ihrer Lieblings-Podcast-App oder bei iTunes und Spotify. Eine Übersicht über all unsere Podcasts finden Sie unter www.sz.de/podcast und hier erfahren Sie, wie Sie unsere Podcasts hören können.Sie haben Fragen oder Anregungen? Dann schreiben Sie uns: podcast@sz.de.