EvalMy.AI là công cụ kiểm thử trên đám mây do nhóm khoa học dữ liệu của Profinit tạo ra cho các đội ngũ phát hành tính năng dựa trên LLM và sinh văn bản tăng cường truy xuất (RAG). Thay vì chấm điểm thủ công, bạn chỉ cần gửi một cặp câu trả lời mong đợi và thực tế để nhận về kết quả có điểm số. Điểm số do C3-Score tạo ra, một chỉ số định tính chia câu trả lời tốt thành ba khía cạnh: tính đầy đủ (không thiếu dữ kiện quan trọng), tính đúng đắn (không có thông tin thừa hay bịa đặt, tức không ảo giác) và mâu thuẫn (không có sự không nhất quán logic bên trong câu trả lời).
Sản phẩm được thiết kế để nhúng vào hệ thống hơn là dùng như một bảng điều khiển độc lập. REST API cho phép gọi điểm cuối đánh giá từ bất kỳ ngôn ngữ hay quy trình nào, còn thư viện khách Python chính thức cho phép đánh giá các cặp câu trả lời ngay trong mã nguồn. Vì các phép kiểm tra chạy như những lệnh gọi API thông thường, chúng có thể được kích hoạt tự động mỗi lần triển khai, hòa nhập tự nhiên vào CI/CD và các công cụ ML phổ biến như LangChain. Các tùy chọn cấu hình cho phép điều chỉnh tham số điểm ngữ nghĩa theo từng mức rủi ro.
Dịch vụ được cung cấp dưới dạng SaaS, co giãn theo số lượng mô hình, kích thước bộ câu hỏi và tần suất kiểm thử. Giá tính theo token: người dùng đầu tiên nhận lượng token miễn phí lớn để trải nghiệm, và phần dùng thêm được bán theo gói nạp nhỏ.
