Ein Modell der Künstlichen Intelligenz mit 20 Milliarden Parametern auf einem iPhone zum Laufen zu bringen – das klingt zuerst nach einem technischen Widerspruch. Viele Smartphones haben schlicht nicht genug Arbeitsspeicher dafür und vor allem Apple war in der Vergangenheit bei der Ausstattung seiner Geräte mit RAM sparsam. Apple hat das Problem für sich trotzdem gelöst, mit einer selbst entwickelten Methode, die das Modell grundlegend anders organisiert, als die KI-Industrie das bisher getan hat.

Normalerweise muss das gesamte Modell im schnellen RAM des Geräts liegen, damit es funktioniert. Ein Modell mit 20 Milliarden Parametern würde die Grenzen heutiger Smartphone-Hardware schnell erreichen. Apples bisheriges On-Device-Modell hatte deshalb nur rund drei Milliarden Parameter – klein genug, um ins Gerät zu passen, aber entsprechend begrenzt in seinen Fähigkeiten.

Flash-Speicher löst RAM-Problem

Amar Subramanya, Apples Vice President of AI

(Bild: Malte Kirchner / heise online)