Pocket LLM (ThirdAI)

Pocket LLM wird von ThirdAI angeboten, einem Unternehmen mit der Kernaussage, dass produktionsreife generative KI keine spezialisierten GPU-Server erfordert. Statt auf große Beschleunigerflotten zu setzen, ist die Technologie darauf ausgelegt, Inferenz- und Trainingslasten auf Standard-CPU-Infrastruktur auszuführen, einschließlich privater Cloud sowie vollständig lokaler, abgeschotteter Bereitstellungen, bei denen Daten die Kundenumgebung nie verlassen.

Die Plattform richtet sich an Unternehmens­teams, die eigene Dokumente und internes Wissen in funktionierende Anwendungen verwandeln wollen. Typische Muster sind semantische und Enterprise-Suche, dokumentbasierte Chatbots und KI-Agenten, Textextraktion, Dokumentklassifizierung, Named Entity Recognition und Sentimentanalyse. Geschäftliche Anwendungen reichen vom Enterprise-Copilot über FAQ-Bots, Live-Kundensupport und Hyperpersonalisierung bis zu Risiko- und Compliance-Aufgaben wie Betrugserkennung, Anomalieerkennung und PII-Redaktion.

Um den Implementierungsaufwand zu senken, bündelt ThirdAI die Bausteine, die KI-Teams sonst manuell zusammensetzen – Parsing und Chunking, Embeddings, Vektorsuche, Reranking, Fine-Tuning und LLM-Guardrails – in einer Oberfläche. Beworben werden Enterprise-SSO, integrierte Modelle, eine No-Code-Oberfläche, implizites Feedback mit RLHF und flexible Bereitstellung in VPC oder On-Premise.