Chutes est une plateforme d'inférence serverless bâtie sur une infrastructure GPU décentralisée. Au lieu de louer une allocation GPU fixe, vous envoyez des requêtes à un point d'accès compatible OpenAI et la plateforme les route vers de la capacité déjà en marche. L'argument de l'équipe est la rapidité de mise à disposition : quand un nouveau modèle ouvert de pointe sort, Chutes veut le rendre disponible en quelques minutes pour que les développeurs puissent tester et intégrer tôt.
Le catalogue est volontairement large. Au-delà des grands modèles de langage attendus, Chutes héberge des modèles d'image, de vidéo, de voix, de musique, d'embeddings et de modération de contenu, et permet d'apporter son propre code sous forme de « chute » personnalisé. Il devient donc réaliste de construire des produits multimodaux — un assistant qui génère aussi des images, transcrit l'audio ou modère les contenus utilisateurs — sans assembler plusieurs fournisseurs.
Sur le plan opérationnel, Chutes vise les charges de production : modèles toujours chauds, traitements par lots et jobs éphémères, facturation à la seconde du GPU pour les déploiements privés et inférence confidentielle dans des environnements d'exécution de confiance pour les cas sensibles. Les modèles publics sont facturés au token, avec un estimateur de coût en direct et une application de chat grand public en complément de l'API.