OpenAI-CEO Sam Altman glaubt weiter an die Skalierung großer Sprachmodelle und teilt gegen LLM-Kritiker aus: Eine ganze Generation von Wissenschaftlern habe das Feld gebremst, weil sie zu sicher gewesen sei, was Skalierung nicht leisten könne.
Zu diesem Zeitpunkt gegen die Skalierung von LLMs zu wetten, halte ich für ziemlich verfehlt.
Sam Altman, OpenAI
In einem Gespräch an seiner Ex-Uni Stanford reagiert Altman auf Kritik von Forschern wie Yann LeCun, LLMs seien eine Sackgasse. Manche knüpften ihre Identität an eine Position und könnten nicht loslassen, selbst wenn die Daten sie widerlegten. Auch "Twitter-Trolle", die seit Jahren das Scheitern von OpenAI vorhersagten, störten ihn nicht mehr. Weltmodelle seien zwar wichtig, etwa für Robotik, doch die Daten sprächen klar für weiteres LLM-Skalieren. Ähnlich äußerte sich kürzlich Anthropic-CEO Dario Amodei.
LLMs hätten menschliche Intelligenz in manchen Bereichen bereits übertroffen. So habe ein OpenAI-Modell kürzlich eine mathematische Vermutung widerlegt, an der kluge Köpfe lange gescheitert seien. Mathematiker fragten sich nun, was das für ihr Fach bedeute. "LLMs können eindeutig neues Wissen ermitteln", sagt Altman. Bei sehr langfristigen Aufgaben seien Menschen jedoch noch deutlich überlegen.
