LlamaChat

LlamaChat은 두 가지 요구가 만나는 지점에 있습니다. 대규모 언어 모델의 매력, 그리고 내 대화를 남의 서버로 보내고 싶지 않다는 바람입니다. 앱은 전적으로 Mac에서 동작하며 로컬 모델 파일을 불러와 사용자의 하드웨어로 응답을 생성합니다. 프롬프트가 기기를 벗어나지 않으므로 민감한 텍스트를 다루는 사람, 오프라인으로 작업하는 사람, 단순히 호스팅 서비스에 의존하고 싶지 않은 사람에게 실용적인 선택입니다.

실무적으로 LlamaChat은 로컬 모델 운영에서 가장 번거로운 부분을 대신 처리합니다. 커뮤니티가 배포하는 형식의 원본 PyTorch 체크포인트를 그대로 불러올 수 있고, 이미 준비한 .ggml 파일도 받아들입니다. 터미널에서 변환 작업에 묶여 있을 필요가 없습니다. 내부적으로는 추론 엔진을 새로 만드는 대신 검증된 오픈소스 프로젝트인 llama.cpp와 llama.swift에 기대합니다. 그 결과 모델 관리, 대화 기록, 채팅 화면을 갖춘 네이티브 Mac 인터페이스가 로컬 LLM 커뮤니티가 이미 신뢰하는 스택 위에 올라갑니다.

대상 사용자는 셀프호스팅 AI에 관심 있는 macOS 사용자입니다. 양자화된 가중치를 실험하는 개발자, 프라이버시를 중시하는 작성자, 명령줄을 건드리지 않고 Alpaca나 Vicuna, GPT4All을 써보고 싶은 취미 사용자 등입니다. 무료 다운로드와 Homebrew로 배포되며 macOS 13 이상이 필요하고 Intel 프로세서와 Apple Silicon을 모두 지원합니다. 모델 파일은 포함되지 않으므로 가중치는 직접 구해야 하며 각 제공자의 라이선스 조건을 준수할 책임이 있습니다. 개발자는 이 앱이 독립적이며 Meta, 스탠퍼드, Nomic AI와 무관하다고 분명히 밝힙니다.