Egal, ob man gern ausufernde Gespräche mit einem Chatbot führt, jede Menge Bilder generiert oder Programmierprojekte mit KI umsetzen will: Die Token schwinden wie Eis in der Sonne und das Ganze geht schnell ins Geld. Mal ganz abgesehen davon, dass gerade im beruflichen Kontext Vorsicht geboten ist, welche Daten man an die Onlinedienste weitergibt.
Lokale KI-Modelle sind da die deutlich bessere Wahl: Die Kosten sind besser kalkulierbar, weil man nur in Hardware investieren und kein Abo bei KI-Firmen abschließen muss. So muss man nicht mehr jedes Token auf die Goldwaage legen. Und um den versehentlichen Abfluss von Daten braucht man sich dann keine Sorgen machen. Auch die Abhängigkeit sinkt: Wer die eigene Arbeit oder die eines Unternehmens von fremder KI-Infrastruktur abhängig macht, ist Preissteigerungen und Ausfällen schlicht ausgeliefert und kann nicht eben mal wechseln.
In dieser Folge des c’t uplink sprechen wir darüber, was mit einem lokalen KI-Server möglich ist, ab welcher Hardware das Spaß macht und welche coolen Dinge ein solcher KI-Server tun kann. Jan Mahn berichtet von seinen Erfahrungen beim Aufsetzen eines LLM-Servers für kleine Teams. Dabei wird aus einer Linux-Maschine mit ordentlicher GPU ein KI-Server mit Open-Source-Software wie Ollama und Open WebUI. Er verrät auch, welche Hardware dafür nötig ist.
