Athina AI ist ein Entwicklungs- und Observability-Workspace für Teams, die Produkte auf Basis großer Sprachmodelle bauen. Im Zentrum steht eine gemeinsame Umgebung, in der Prompts versioniert, gegen Datensätze getestet und über Modelle hinweg verglichen werden, sodass Änderungen vor dem Produktivgang validiert sind. Eine tabellenkalkulationsähnliche No-Code-Oberfläche für Produktmanager ergänzt SDKs und eine GraphQL-API für Entwickler.
Die Evaluierungsebene bietet über 50 vordefinierte Metriken (inkl. RAG-Checks wie Faithfulness und Kontextrelevanz) sowie eigene Kriterien und kann Datensätze neu erzeugen, wenn Modell, Prompt oder Retriever geändert werden. In der Produktion protokolliert und verfolgt Athina jeden Schritt eines KI-Flows, führt Online-Evaluierungen auf eingehendem Traffic aus und segmentiert Analysen nach Prompt, Modell, Thema oder Kunden-ID.
Athina richtet sich an Organisationen mit hohen Anforderungen an Datenkontrolle: feingranulare Zugriffsrechte, SOC-2-Type-2-Konformität, Self-Hosting in der eigenen VPC und Unterstützung privater oder eigener Modelle über Azure OpenAI und AWS Bedrock. Ein kostenloser Einstieg ist verfügbar; kostenpflichtige und Enterprise-Tarife auf Anfrage.