Groq ist eine KI-Inferenz-Cloud, die große Sprachmodelle und andere KI-Modelle mit außergewöhnlich niedriger Latenz ausführt. Statt Chips für das Training zu entwerfen, entwickelte Groq eigene Silizium-Chips namens LPU, zu denen inzwischen LPX hinzukommt, die speziell für Inferenz optimiert sind – also die Phase, in der Modelle tatsächlich Nutzer bedienen. Das Unternehmen positioniert sich als 'Neocloud' für schnelle Inferenz und verbindet diese Hardware mit einem Software-Stack und Entwickler-APIs.
Entwickler greifen über eine API auf Groq zu, die beliebte offene Modelle wie Llama, Mixtral und Gemma sowie Whisper-Sprachmodelle und Text-to-Speech bietet. Da die Plattform auf Geschwindigkeit optimiert ist, wird sie häufig für Echtzeit-Chat, Agenten und Sprachschnittstellen genutzt, bei denen die Antwortzeit zählt. Die API ist weitgehend mit gängigen Anfrageformaten im OpenAI-Stil kompatibel, was den Wechsel erleichtert.
Groq ist aggressiv gewachsen, hat eine Series A über 350 Millionen US-Dollar angekündigt und baut hunderte Megawatt an Inferenzkapazität auf. Neben der Geschwindigkeit betont das Unternehmen Zuverlässigkeit und Kosten und argumentiert, dass schnell und günstig für Teams im Produktivbetrieb kein Widerspruch mehr sein müssen.