LlamaChat

LlamaChat liegt an der Schnittstelle zweier Ideen: der Faszination großer Sprachmodelle und dem Wunsch, die eigenen Gespräche nicht auf fremde Server zu schicken. Die App läuft vollständig auf dem Mac, lädt Modellgewichte aus lokalen Dateien und erzeugt Antworten auf deiner eigenen Hardware. Nichts von deinem Prompt verlässt das Gerät, was sie zu einer praktischen Wahl für alle macht, die sensible Texte verarbeiten, offline arbeiten oder einfach nicht von einem gehosteten Dienst abhängen wollen.

Praktisch nimmt LlamaChat dir den mühsamsten Teil des lokalen Modellbetriebs ab. Rohe PyTorch-Checkpoints im Format, in dem die Community sie veröffentlicht, lassen sich direkt importieren, ebenso bereits konvertierte .ggml-Dateien, sodass du nicht im Terminal Konvertierungen erledigen musst. Unter der Haube stützt sich die App auf etablierte Open-Source-Projekte – llama.cpp und llama.swift – statt eine eigene Inferenz-Engine zu bauen. Das Ergebnis ist eine native Mac-Oberfläche mit Modellverwaltung, Gesprächsverlauf und Chat-Ansicht auf einem Stack, dem die Lokale-LLM-Community bereits vertraut.

Gedacht ist sie für macOS-Nutzer mit Interesse an selbst gehosteter KI: Entwickler, die quantisierte Gewichte ausprobieren, datenschutzbewusste Autoren und Hobbyisten, die Alpaca, Vicuna oder GPT4All ohne Kommandozeile testen wollen. Vertrieben wird die App als kostenloser Download und über Homebrew; sie setzt macOS 13 oder neuer voraus und läuft auf Intel-Prozessoren wie auf Apple Silicon. Modelldateien sind nicht enthalten, du beschaffst die Gewichte selbst und bist für die Einhaltung ihrer Lizenzen verantwortlich. Der Entwickler stellt klar, dass die App unabhängig ist und nicht mit Meta, Stanford oder Nomic AI verbunden ist.