LM Studio
Bionic 是 LM Studio 推出的工作与代码智能体,支持在本地或云端开源模型上创建文档、幻灯片、PDF 和软件,语音数据全程留在设备端。
Ollama 的吸引力在于一条命令就能拉取并运行模型。替代品的差别在于面向谁:有的是完全不用打开终端的桌面应用,有的把一切打包成一个可执行文件,还有的是为吞吐量而不是为一个人在笔记本上跑而设计的服务。
想要图形界面而不是命令行:LM Studio 或 Jan,都是免费的桌面应用。想把手里的模型直接发给同事:llamafile。要让别人也用:vLLM —— 它是为吞吐量设计的,不是为单机单人的会话。
Bionic 是 LM Studio 推出的工作与代码智能体,支持在本地或云端开源模型上创建文档、幻灯片、PDF 和软件,语音数据全程留在设备端。
下载并对话本地模型的桌面应用,全程不用终端。底层同样跑 llama.cpp 和 MLX —— 对大多数人来说,它就是 Ollama 所做的事的可视化版本。
Jan 是一款开源桌面聊天应用,支持在本地硬件上运行开源模型,或连接 OpenAI、Anthropic、Google 等云端服务商。它面向注重隐私、希望获得比命令行工具更友好本地 LLM 体验的个人与团队。
完全离线运行的开源桌面助手。形态和 LM Studio 接近;如果你希望客户端本身也是开源的,优先看它。
llamafile 将开源 LLM 与语音转文字模型打包成单文件可执行程序,无需安装即可在多数操作系统和 CPU 架构上本地运行。该项目由 Mozilla Builders 发起,现由 Mozilla.ai 维护。
把模型、权重和运行时打包成一个可执行文件。不用安装、不用配置 —— 想把一个能跑的模型直接交给别人时特别好用。
llama.cpp 是一个用 C/C++ 编写的开源大语言模型推理引擎,让开发者无需依赖托管 API,即可在自己的硬件上运行模型,适合需要将推理能力嵌入原生应用或边缘设备的工程团队。
上面这些工具大多建在它上面,C++ 实现。只有当你要把推理嵌进自己的软件里、而不是找个能聊天的东西时,才需要直接用它。
LocalAI 是采用 MIT 许可的开源 AI 引擎,通过兼容 OpenAI 的 API 在本机运行语言、语音、视觉、图像、视频与智能体任务,不强制要求 GPU。
开源引擎,把语言、语音、视觉和图像模型以兼容 OpenAI 的 API 提供出去。目标不是聊天机器人,而是替换掉一个云端 API 端点时选它。
vLLM 是一个开源的大语言模型推理与服务引擎,面向需要自行部署模型并关注吞吐量与内存效率的团队。项目托管在 github.com/vllm-project/vllm,以源码形式分发,采用它意味着要在自有基础设施上运行和维护。
面向自托管部署的高吞吐推理服务。为在 GPU 机器上并发处理大量请求而设计 —— 一个人用是杀鸡用牛刀,团队共用一个端点时它才对。
本地跑模型免费。付费档是针对云端模型的 —— Pro 每月 $60 额度,Team 每月 $500,含共享额度和管理后台。
按官方说法,提示词和回复不会被记录、也不会用于训练。这条声明同时覆盖本地运行和云端模型目录。
能 —— 它支持 macOS、Windows 和 Linux。在苹果芯片上,各个本地方案的差别主要在于底层运行时,而不是能不能跑。