跳到主要内容

Ollama 替代方案:不用终端也能跑本地模型

Ollama 的吸引力在于一条命令就能拉取并运行模型。替代品的差别在于面向谁:有的是完全不用打开终端的桌面应用,有的把一切打包成一个可执行文件,还有的是为吞吐量而不是为一个人在笔记本上跑而设计的服务。

快速结论

想要图形界面而不是命令行:LM Studio 或 Jan,都是免费的桌面应用。想把手里的模型直接发给同事:llamafile。要让别人也用:vLLM —— 它是为吞吐量设计的,不是为单机单人的会话。

筛选时重点看什么?

  • •你是否愿意用终端
  • •你的硬件是什么 —— 统一内存的 Mac,还是 NVIDIA 显卡
  • •是一个人用笔记本,还是一个多人共用的服务端点
  • •你要的是一个能聊天的应用,还是一个可以拿来开发的东西
工具价格免费可用API开源合规认证
LM Studio免费是———
Jan免费是———
llamafile免费是—是SOC 2
llama.cpp免费是———
LocalAI免费是是是—
vLLM免费是———

「—」表示官网没有公开说明。

推荐替代工具

下载并对话本地模型的桌面应用,全程不用终端。底层同样跑 llama.cpp 和 MLX —— 对大多数人来说,它就是 Ollama 所做的事的可视化版本。

llamafile

开源项目

llamafile 将开源 LLM 与语音转文字模型打包成单文件可执行程序,无需安装即可在多数操作系统和 CPU 架构上本地运行。该项目由 Mozilla Builders 发起,现由 Mozilla.ai 维护。

免费SOC 2
查看详情

把模型、权重和运行时打包成一个可执行文件。不用安装、不用配置 —— 想把一个能跑的模型直接交给别人时特别好用。

上面这些工具大多建在它上面,C++ 实现。只有当你要把推理嵌进自己的软件里、而不是找个能聊天的东西时,才需要直接用它。

常见问题

Ollama 免费吗?

本地跑模型免费。付费档是针对云端模型的 —— Pro 每月 $60 额度,Team 每月 $500,含共享额度和管理后台。

我的提示词会被用于训练吗?

按官方说法,提示词和回复不会被记录、也不会用于训练。这条声明同时覆盖本地运行和云端模型目录。

在 Mac 上能用吗?

能 —— 它支持 macOS、Windows 和 Linux。在苹果芯片上,各个本地方案的差别主要在于底层运行时,而不是能不能跑。

涉及这个工具的对比