ClearGPT — GenAI App Engine của ClearML

ClearGPT khởi đầu là nền tảng GenAI cấp doanh nghiệp: cách an toàn để tổ chức lưu trữ, triển khai và quản lý mô hình ngôn ngữ lớn trong môi trường của chính mình thay vì dùng dịch vụ AI bên thứ ba. Năng lực đó nay được cung cấp qua GenAI App Engine của ClearML, nơi địa chỉ cleargpt.ai dẫn người truy cập tới. Sản phẩm nằm trên lớp điều khiển hạ tầng của ClearML — tầng quản lý quyền truy cập tính toán, mức sử dụng tài nguyên và mạng cho các khối lượng công việc AI.

Trên thực tế, nền tảng cho phép triển khai bất kỳ LLM nào chỉ bằng một cú nhấp: kết nối mô hình tùy chỉnh hoặc đã tinh chỉnh từ Hugging Face, phục vụ qua các engine như vLLM, llama.cpp hay Triton, rồi công bố qua các điểm cuối API bảo mật với kiểm soát truy cập theo vai trò. Định tuyến lưu lượng động xử lý cân bằng tải và luồng dữ liệu giữa các ứng dụng, điểm cuối và AI agent đã triển khai, trong khi tính toán suy luận có thể mở rộng ngang tức thời để duy trì tính sẵn sàng của các điểm cuối đang hoạt động trong giờ cao điểm. Giám sát bao trùm lượng yêu cầu, độ trễ, mức dùng bộ nhớ và mức sử dụng CPU, GPU, I/O và mạng.

Hiệu quả chi phí là chủ đề trung tâm: công nghệ bộ nhớ hợp nhất của ClearML giữ các mô hình nhàn rỗi trong bộ nhớ CPU và dành sức mạnh GPU cho những mô hình đang phục vụ lưu lượng, nhờ đó ứng dụng GenAI vẫn sẵn sàng mà không phải trả tiền cho GPU chuyên dụng suốt ngày đêm. Dự án có thể khởi đầu với lượng GPU tối thiểu rồi sau đó chuyển sang cụm lớn hơn, với ClearML lưu và khôi phục trạng thái nên việc di chuyển không cần dựng lại ứng dụng. Nền tảng được dùng tại các phòng thí nghiệm nghiên cứu và nhiều ngành như tài chính, quốc phòng, viễn thông, bán dẫn và khu vực công, theo giấy phép thương mại kèm gói khởi đầu miễn phí.