EvalMy.AI est un outil de test cloud créé par l'équipe data science de Profinit pour les équipes qui livrent des fonctionnalités basées sur les LLM et la génération augmentée par récupération (RAG). Au lieu de noter manuellement, vous envoyez un couple de réponses attendue et réelle et recevez une note. Cette note est produite par le C3-Score, une métrique qualitative qui décompose une bonne réponse en trois aspects : complétude (aucun fait important manquant), exactitude (aucune information superflue ou inventée, donc aucune hallucination) et contradiction (aucune incohérence logique au sein de la réponse).
Le produit est conçu pour être intégré plutôt que utilisé comme tableau de bord autonome. Une API REST permet d'appeler le point de terminaison d'évaluation depuis n'importe quel langage ou pipeline, et un client Python officiel permet d'évaluer des couples de réponses directement dans le code. Comme les contrôles s'exécutent comme de simples appels d'API, ils peuvent être déclenchés automatiquement à chaque déploiement, s'intégrant naturellement dans les pipelines CI/CD et les outils ML courants comme LangChain. Des options de configuration permettent d'ajuster les paramètres de score sémantique selon différents profils de risque.
Le service est proposé en SaaS et s'adapte au nombre de modèles, à la taille du jeu de questions et à la fréquence des tests. La tarification est basée sur des jetons : les premiers utilisateurs reçoivent une importante allocation gratuite de jetons et l'usage supplémentaire est vendu en petits rechargements.
