BotGauge là nền tảng kiểm thử và quan sát dành cho các đội ngũ triển khai AI agent. Ý tưởng cốt lõi là agent có thể đi theo những con đường bạn chưa từng lường trước, và một thay đổi ở mô hình, prompt, công cụ hay ngữ cảnh có thể đưa agent sang lộ trình hoàn toàn khác. BotGauge dùng red team thích ứng và kịch bản thực tế để khám phá những con đường đó và phơi bày hành vi bất ngờ trước khi chúng tới tay người dùng. Mỗi phát hiện có thể chuyển thành một đánh giá và biện pháp bảo vệ chạy trong mỗi lần phát hành.
Nền tảng được tổ chức quanh bốn năng lực chính. Red team chạy kiểm thử thích ứng trên đầu vào, ngữ cảnh, công cụ, chính sách và tương tác nhiều lượt, với chiến lược tùy chỉnh cho các kịch bản bạn quan tâm. Truy vết cho phép theo dõi từng bước phía sau một kết quả, kiểm tra prompt, phản hồi, lệnh gọi công cụ, ngữ cảnh và đường thực thi. Đánh giá biến phát hiện thành các kiểm tra lặp lại được, chấm điểm hoàn thành mục tiêu, độ chính xác, tuân thủ chính sách và tiêu chí tùy chỉnh. Chính sách và rào chắn đưa các chuẩn mực quan trọng vào đánh giá, giám sát và biện pháp bảo vệ.
BotGauge không phụ thuộc framework hay mô hình, hỗ trợ các công cụ, mô hình và framework đội ngũ đã dùng, gồm OpenAI, Anthropic, LangChain, LlamaIndex, LangGraph, CrewAI, AutoGen và AutoGPT. Nó hướng tới nhiều loại agent như trợ lý RAG, agent hỗ trợ khách hàng, agent thoại, hệ thống đa agent và agent giao dịch. Tính năng doanh nghiệp gồm SOC 2 Type II, SSO/SAML và kiểm soát truy cập chi tiết. Có tùy chọn bắt đầu miễn phí và yêu cầu demo, giá cung cấp qua liên hệ.
