O Groq é uma nuvem de inferência de IA que executa modelos de linguagem e outros modelos de IA com latência excepcionalmente baixa. Em vez de projetar chips para treinamento, o Groq criou silício próprio chamado LPU, agora acompanhado do LPX, otimizado especificamente para inferência, a etapa em que os modelos realmente atendem os usuários. A empresa se posiciona como uma 'neocloud' para inferência rápida e une esse hardware a uma pilha de software e APIs para desenvolvedores.
Desenvolvedores acessam o Groq por uma API que hospeda modelos abertos populares como Llama, Mixtral e Gemma, além dos modelos de voz Whisper e recursos de texto em fala. Como a plataforma é ajustada para velocidade, é muito usada em chat em tempo real, agentes e interfaces de voz, onde o tempo de resposta importa. A API é amplamente compatível com formatos de requisição no estilo OpenAI, o que reduz o custo de migração.
O Groq cresceu agressivamente, anunciando uma Série A de 350 milhões de dólares e construindo centenas de megawatts de capacidade de inferência. Além da velocidade, destaca confiabilidade e custo, defendendo que rápido e acessível não precisam mais ser excludentes para equipes que rodam IA em produção.