Groq est un cloud d'inférence IA qui exécute des modèles de langage et d'autres modèles d'IA avec une latence exceptionnellement faible. Plutôt que de concevoir des puces pour l'entraînement, Groq a créé un silicium propriétaire appelé LPU, désormais complété par LPX, optimisé spécifiquement pour l'inférence, l'étape où les modèles servent réellement les utilisateurs. L'entreprise se présente comme une « neocloud » dédiée à l'inférence rapide et associe ce matériel à une pile logicielle et à des API pour développeurs.
Les développeurs accèdent à Groq via une API qui héberge des modèles ouverts populaires tels que Llama, Mixtral et Gemma, ainsi que les modèles vocaux Whisper et des capacités de synthèse vocale. La plateforme étant optimisée pour la vitesse, elle est souvent utilisée pour le chat en temps réel, les agents et les interfaces vocales où le temps de réponse compte. L'API est largement compatible avec les formats de requête de style OpenAI, ce qui réduit le coût d'un changement.
Groq s'est développé rapidement, annonçant une série A de 350 millions de dollars et construisant des centaines de mégawatts de capacité d'inférence. Au-delà de la vitesse, l'entreprise met en avant la fiabilité et le coût, estimant que rapidité et prix abordable ne sont plus incompatibles pour les équipes exploitant l'IA en production.