local.ai

local.ai, còn được gọi là The Local AI Playground, là ứng dụng desktop miễn phí và mã nguồn mở dành cho những ai muốn chạy mô hình AI trên phần cứng của mình thay vì qua API đám mây. Phần backend viết bằng Rust nên ứng dụng nhỏ gọn (dưới khoảng 10MB với bản dựng cho Mac M2, Windows và .deb trên Linux) và tiết kiệm bộ nhớ. Kênh phát hành gồm trình cài đặt Windows (.MSI và .EXE), bản macOS cho Apple Silicon và Intel, cùng gói AppImage và .deb cho Linux, nên hầu hết người dùng desktop chỉ cần vài cú nhấp để cài đặt.

Điểm khác biệt của local.ai so với một lớp bọc chat đơn thuần là sự tập trung vào vòng đời mô hình quanh khâu suy luận. Trình quản lý mô hình tập trung, không phụ thuộc thư mục, giữ file gọn gàng trong bất kỳ thư mục nào bạn chọn, kèm trình tải xuống song song có thể tiếp tục và sắp xếp theo tần suất sử dụng. Mô-đun xác minh tính checksum BLAKE3 và SHA256, đối chiếu với API mô hình chuẩn đã biết và hiển thị nhãn giấy phép cùng điều kiện sử dụng, để bạn luôn biết mình đang chạy file nào. Quá trình suy luận chạy trên CPU, tự thích ứng số luồng khả dụng và hỗ trợ các mức lượng tử hóa GGML như q4, 5.1, 8 và f16.

Khi sẵn sàng xây dựng, local.ai có thể khởi động máy chủ suy luận streaming cục bộ chỉ trong khoảng hai cú nhấp: nạp mô hình, khởi động máy chủ rồi trỏ bất kỳ ứng dụng AI nào vào đó, kể cả các ứng dụng ngoại tuyến như window.ai. Dự án hướng tới lập trình viên, người dùng quan tâm quyền riêng tư và những ai tò mò về mô hình tự lưu trữ nhưng không muốn vật lộn với chuỗi công cụ dòng lệnh trước khi viết prompt đầu tiên. Lộ trình phát triển gồm suy luận GPU, phiên song song, thư mục lồng nhau và các tính năng khám phá mô hình.