Stable Diffusion WebUI
本地跑 Stable Diffusion 的经典网页界面

llama.cpp 是一个用 C/C++ 编写的开源大语言模型推理引擎,让开发者无需依赖托管 API,即可在自己的硬件上运行模型,适合需要将推理能力嵌入原生应用或边缘设备的工程团队。
llama.cpp 是一个用 C 和 C++ 编写的开源推理引擎,目标是让开发者在自己掌控的硬件上运行大语言模型,而不是把推理请求交给托管 API。它面向的是需要把模型推理放进原生应用、边缘设备,或部署在云依赖不现实的机器上的工程团队。
项目的重心在 C 与 C++ 实现上,两者合计占据代码库的绝大部分。这一选择对交付编译型软件的团队意义直接:库可以链接进现有应用,而不必额外维护一个 Python 服务。仓库中仍有约 7.5% 的 Python 代码,主要用于工具链与绑定,说明项目并不排斥脚本化工作流,只是引擎本身是编译型的。
llama.cpp 把硬件支持拆分为多个具名后端子团队,包括 base、CPU、ET、HIP、OpenVINO 和 RISC-V。HIP 指向 AMD GPU 加速,OpenVINO 对应英特尔的推理工具链,RISC-V 则表明项目对非 x86 嵌入式目标的关注。CUDA 代码约占仓库的 5%。这意味着同一套引擎可以针对差异很大的机器构建,但各后端的成熟度与速度并不一致。
仓库中的工作涉及 GGUF 文件,包括 Qwen3.8-Flash-Next-GGUF 这类量化模型。量化是该项目吸引力的关键:它压缩模型体积与内存占用,让原本放不下的较大模型得以在有限硬件上运行。从托管 API 转过来的开发者需要学习模型文件如何转换、量化与加载,这是上手曲线中实实在在的一部分。
仓库列出 2,166 名贡献者和数千个带标签的发布版本,语言构成中还包含用于 Web 工具界面的 TypeScript 与 Svelte。这样的规模说明项目有广泛的社区投入,而非单人维护;同时也意味着代码库变动较快,锁定特定版本的团队需要留意版本之间的差异。
高人气也带来积压。仓库显示 762 个未关闭 issue 和约 1.8k 个待处理 pull request,这对该体量的项目属常见现象,但值得提前纳入规划。特定后端或模型格式的修复可能按社区节奏推进,而非按厂商支持合同交付。对响应时间有硬性要求的组织,需要把这一点与自托管推理节省的成本放在一起权衡。
llama.cpp 更适合被理解为基础设施,而不是面向终端用户的产品。它天然适合为需要本地模型端点的开发者助手提供推理能力,也可以作为自动化调试工具或内部聊天界面的推理层。已经习惯编译 C/C++ 并自行管理硬件的团队会觉得衔接顺畅;期待开箱即用托管服务的团队则不然。
引擎本身以开源代码形式在 GitHub 上分发,不附带单独的订阅价格。GitHub 平台方案与 llama.cpp 自身的许可无关,其定价为 Free $0、Team 每用户每月 $4 USD、Enterprise 每用户每月 $21 USD,价格可能调整。
llama.cpp 以开源代码形式发布在 GitHub 上,本身不单独收取订阅费用。GitHub 平台自身的方案另行计价:Free 为 $0,Team 为每用户每月 $4 USD,Enterprise 为每用户每月 $21 USD。价格可能调整,请以官网为准。
工具功能、价格与可用性可能变化,请以官网为准。 由 steven 维护 · 最后更新 2026年10月16日 →