Ollama
Ollama 是一个面向开源 AI 模型的运行时与云服务,支持在 macOS、Windows、Linux 上本地运行模型,或通过托管端点调用,适合使用开源模型进行开发的工程师与团队。
本地模型运行工具让你在自己电脑或服务器上下载并运行开源模型,适合重视隐私、需要离线或想避开按量计费的情况。
Ollama 是一个面向开源 AI 模型的运行时与云服务,支持在 macOS、Windows、Linux 上本地运行模型,或通过托管端点调用,适合使用开源模型进行开发的工程师与团队。
Jan 是一款开源桌面聊天应用,支持在本地硬件上运行开源模型,或连接 OpenAI、Anthropic、Google 等云端服务商。它面向注重隐私、希望获得比命令行工具更友好本地 LLM 体验的个人与团队。
Bionic 是 LM Studio 推出的工作与代码智能体,支持在本地或云端开源模型上创建文档、幻灯片、PDF 和软件,语音数据全程留在设备端。
vLLM 是一个开源的大语言模型推理与服务引擎,面向需要自行部署模型并关注吞吐量与内存效率的团队。项目托管在 github.com/vllm-project/vllm,以源码形式分发,采用它意味着要在自有基础设施上运行和维护。
llamafile 将开源 LLM 与语音转文字模型打包成单文件可执行程序,无需安装即可在多数操作系统和 CPU 架构上本地运行。该项目由 Mozilla Builders 发起,现由 Mozilla.ai 维护。
本地模型运行工具负责在自己电脑或服务器上下载、加载和调用开源模型,通常对外提供兼容 OpenAI 的接口。适合重视数据隐私、需要离线使用,或想避开按 token 计费的场景。
一条命令拉起模型、在本地跑对话和批处理、把模型接进现有应用、做量化压缩以适配显存、对外提供并发推理服务。
优势是数据不出本机、没有按量费用、可以离线;局限是效果通常不如同价位的云端大模型,速度取决于显卡,模型和驱动的版本问题要自己解决。
软件本身多为开源免费,成本是硬件和电费;带图形界面的产品可能有付费版,企业支持通常按年收费。