EvalMy.AI ist ein cloudbasiertes Testwerkzeug, das das Data-Science-Team von Profinit für Teams entwickelt hat, die LLM- und Retrieval-Augmented-Generation-Funktionen (RAG) ausliefern. Statt manuell zu bewerten, sendet man ein Paar aus erwarteter und tatsächlicher Antwort und erhält ein bewertetes Ergebnis. Die Bewertung liefert der C3-Score, eine qualitative Kennzahl, die eine gute Antwort in drei Aspekte zerlegt: Vollständigkeit (keine wichtigen Fakten fehlen), Korrektheit (keine zusätzlichen oder erfundenen Informationen, also keine Halluzinationen) und Widerspruch (keine logische Inkonsistenz innerhalb der Antwort).
Das Produkt ist eher zum Einbetten als zur Nutzung als eigenständiges Dashboard gedacht. Eine REST-API erlaubt den Aufruf des Bewertungsendpunkts aus jeder Sprache oder Pipeline, und ein offizieller Python-Client ermöglicht die Bewertung von Antwortpaaren direkt im Code. Da die Prüfungen als normale API-Aufrufe laufen, lassen sie sich bei jedem Deployment automatisch auslösen und fügen sich natürlich in CI/CD und gängige ML-Tools wie LangChain ein. Konfigurationsoptionen erlauben es, Parameter der semantischen Bewertung an unterschiedliche Risikoprofile anzupassen.
Der Dienst wird als SaaS angeboten und skaliert mit der Anzahl der Modelle, der Größe des Fragensets und der Testfrequenz. Die Abrechnung erfolgt tokenbasiert: Frühe Nutzer erhalten ein großes kostenloses Token-Kontingent, zusätzlicher Bedarf wird in kleinen Aufladepaketen verkauft.
