Normalerweise erfordern Künstliche Intelligenzen der Spitzenklasse gewaltige Rechenzentren oder zumindest extrem hochgerüstete Workstations mit hunderten Gigabyte Arbeitsspeicher. Doch der Entwickler Vincenzo, der im Netz unter dem Pseudonym JustVugg auftritt, hat nun bewiesen, dass es auch völlig anders geht. Auf der zu Microsoft gehörenden Entwickler-Plattform GitHub hat er ein Projekt namens colibrì veröffentlicht. Dahinter verbirgt sich eine extrem schlanke Inference-Engine, die das massive KI-Modell GLM-5.2 mit seinen 744 Milliarden Parametern auf einem gewöhnlichen Laptop mit lediglich 12 Prozessorkernen und 25 Gigabyte RAM zum Laufen bringt.Anzeige
GLM-5.2 gilt derzeit als eines der leistungsfähigsten offen zugänglichen Modelle und schneidet in vielen Benchmarks besser ab als etablierte Lösungen der großen kommerziellen Anbieter. Dass eine Software dieses Kalibers auf Consumer-Hardware läuft, gleicht einer technischen Sensation und löste auf internationalen Foren wie der US-amerikanischen Diskussionsplattform Hacker News des Inkubators Y Combinator begeisterte Reaktionen von Entwickler:innen aus.
Der Trick mit der Festplatte und den Experten
Um das Modell auf einem derart begrenzten System auszuführen, bedient sich JustVugg einer intelligenten Architektur-Eigenschaft von GLM-5.2. Das Modell basiert auf dem sogenannten „Mixture-of-Experts“-Ansatz, der in der Fachsprache als MoE abgekürzt wird. Das bedeutet, dass für die Berechnung eines einzelnen Wortteils, eines sogenannten Tokens, nicht das gesamte neuronale Netz herangezogen wird, sondern pro Token nur rund 40 Milliarden der insgesamt 744 Milliarden Parameter aktiviert werden.Anzeige
