local.ai

local.ai, auch als The Local AI Playground bekannt, ist eine kostenlose und quelloffene Desktop-Anwendung für alle, die KI-Modelle lieber auf eigener Hardware statt über eine Cloud-API betreiben möchten. Das Backend ist in Rust geschrieben, wodurch die App klein (unter etwa 10 MB bei Builds für Mac M2, Windows und Linux-.deb) und speichereffizient bleibt. Verteilt wird sie als Windows-Installer (.MSI und .EXE), als macOS-Version für Apple Silicon und Intel sowie als AppImage und .deb für Linux, sodass die Installation auf den meisten Desktops mit wenigen Klicks gelingt.

Was local.ai von einem reinen Chat-Wrapper unterscheidet, ist der Fokus auf den Modell-Lebenszyklus rund um die Inferenz. Ein zentraler, verzeichnisunabhängiger Modellmanager hält Dateien in einem beliebigen Ordner organisiert, inklusive wiederaufnehmbarem, parallelem Downloader und Sortierung nach Nutzungshäufigkeit. Das Digest-Modul berechnet BLAKE3- und SHA256-Prüfsummen, gleicht sie mit einer API bekanntermaßen korrekter Modelle ab und zeigt Lizenz- sowie Nutzungshinweise an, damit stets klar ist, welche Datei ausgeführt wird. Die Inferenz läuft auf der CPU, passt sich der Thread-Anzahl an und unterstützt GGML-Quantisierungsstufen wie q4, 5.1, 8 und f16.

Für eigene Projekte startet local.ai mit etwa zwei Klicks einen lokalen Streaming-Inferenzserver: Modell laden, Server starten und jeden KI-Client darauf verweisen – einschließlich Offline-Apps wie window.ai. Das Projekt richtet sich an Entwickler, datenschutzbewusste Tüftler und alle Neugierigen, die selbst gehostete Modelle ausprobieren wollen, ohne sich vor dem ersten Prompt mit Kommandozeilen-Toolchains herumzuschlagen. Die Roadmap umfasst GPU-Inferenz, parallele Sitzungen, verschachtelte Verzeichnisse und Funktionen zur Modellsuche.