Verpasse keine News mehr!
Große Sprachmodelle müssen heutzutage gar nicht mehr so groß sein, um gut zu funktionieren. Aber laufen diese auch lokal auf Mittelklasse-Laptops? t3n Tool Time klärt auf.
KI auf dem Laptop: Wie gut funktioniert lokale KI? (Bild: Tero Vesalainen / Shutterstock)
Wer heutzutage generative KI nutzt, tut das in den allermeisten Fällen über ein Chat-Interface im Browser. Tools wie ChatGPT oder Claude haben hundert Millionen Nutzer:innen, und auch wenn sich die Diskussion in Fachkreisen mehr um agentisches Coding oder komplexe Automatisierungen dreht, kommen normale User:innen damit kaum in Berührung.Anzeige
Dabei braucht es heutzutage nicht mehr zwingend einen Account bei OpenAI, Google oder Anthropic, um KI zu nutzen. Es braucht nicht mal mehr Internetzugang. Denn Open-Weights-Modelle wie Qwen oder GLM lassen sich auch auf der eigenen Hardware betreiben. Auch große Namen wie Nvidia oder Google bieten mit Nemotron beziehungsweise Gemma kleinere, offenere Modelle an, die ihr kostenlos herunterladen und nutzen könnt.
