Groq es una nube de inferencia de IA que ejecuta modelos de lenguaje y otros modelos de IA con una latencia excepcionalmente baja. En lugar de diseñar chips para entrenamiento, Groq creó silicio propio llamado LPU, al que ahora se suma LPX, optimizado específicamente para inferencia, la fase en la que los modelos sirven realmente a los usuarios. La empresa se define como una 'neocloud' para inferencia rápida y combina ese hardware con una pila de software y APIs para desarrolladores.
Los desarrolladores acceden a Groq mediante una API que aloja modelos abiertos populares como Llama, Mixtral y Gemma, además de modelos de voz Whisper y capacidades de texto a voz. Como la plataforma está afinada para la velocidad, se usa a menudo en chat en tiempo real, agentes e interfaces de voz donde el tiempo de respuesta importa. La API es ampliamente compatible con los formatos de petición estilo OpenAI, lo que reduce el coste de cambiar.
Groq ha escalado con agresividad, anunciando una Serie A de 350 millones de dólares y construyendo cientos de megavatios de capacidad de inferencia. Además de la velocidad, destaca la fiabilidad y el coste, argumentando que rápido y asequible ya no tienen por qué ser excluyentes para los equipos que ejecutan IA en producción.