Pocket LLM (ThirdAI)

Pocket LLM est proposé par ThirdAI, une société dont l'affirmation centrale est que l'IA générative de niveau production n'exige pas de serveurs GPU spécialisés. Au lieu de dépendre de grandes flottes d'accélérateurs, sa technologie est conçue pour exécuter les charges d'inférence et d'entraînement sur une infrastructure CPU standard, y compris en cloud privé et dans des déploiements entièrement sur site et isolés, où les données ne quittent jamais l'environnement du client.

La plateforme s'adresse aux équipes d'entreprise qui veulent transformer leurs documents et connaissances internes en applications opérationnelles. Les usages courants incluent la recherche sémantique et d'entreprise, les chatbots et agents IA ancrés sur documents, l'extraction de texte, la classification de documents, la reconnaissance d'entités nommées et l'analyse de sentiment. Les applications métier typiques couvrent un copilote d'entreprise, des bots FAQ, le support client en direct, l'hyperpersonnalisation, ainsi que des tâches de risque et de conformité comme la détection de fraude, la détection d'anomalies et la censure des données personnelles.

Pour réduire l'effort de mise en œuvre, ThirdAI regroupe dans une seule interface les briques que les équipes IA assemblent habituellement à la main : parsing et chunking, embeddings, recherche vectorielle, reranking, fine-tuning et garde-fous LLM. La plateforme met en avant le SSO d'entreprise, des modèles intégrés, une interface sans code, le feedback implicite avec RLHF et une grande flexibilité de déploiement en VPC ou sur site.