跳到主要内容

llamafile

开源项目

llamafile 将开源 LLM 与语音转文字模型打包成单文件可执行程序,无需安装即可在多数操作系统和 CPU 架构上本地运行。该项目由 Mozilla Builders 发起,现由 Mozilla.ai 维护。

SOC 2
70

工具介绍

llamafile 是一个把开源 LLM 和语音转文字模型打包成单文件可执行程序的项目,目标是让开发者和终端用户都能更轻松地在本地跑起开放模型,而不必处理安装、依赖或平台专用构建。它由 Mozilla Builders 发起,现由 Mozilla.ai 重新维护。

一个文件里装了什么

llamafile 把 llama.cpp 与 Cosmopolitan Libc 组合成一套框架。最终产物是一个单文件可执行程序,模型和运行时都在其中。由于 Cosmopolitan 生成的是可移植二进制,llamafile 无需安装即可在多数操作系统和 CPU 架构上本地运行。项目把这种做法描述为把 LLM 的复杂度压缩到一个文件里。

从下载到运行

快速上手刻意保持简短:下载示例模型,在 macOS、Linux 或 BSD 上用 chmod +x 赋予可执行权限,然后直接运行。项目建议新用户从它构建过的最小模型开始,因为这类模型最有可能开箱即用。如果硬件或 GPU 较强,文档建议选择更大、表达能力更强的模型,通常能给出更准确的回答。

Windows 上的实际限制

Windows 用户需要先把文件重命名并加上 .exe 扩展名才能运行。更关键的是,Windows 只能运行小于 4GB 的可执行文件,超过这个体积的 llamafile 无法直接使用。遇到这种情况,项目建议下载 llamafile 二进制,再配合外部 GGUF 权重运行。在为 Windows 机器挑选模型大小时,这一点需要提前考虑。

语音转文字同样在列

llamafile 还包含 whisperfile,一个基于 whisper.cpp 和同一套 Cosmopolitan 打包方式的单文件语音转文字工具。它支持在相同平台上转写和翻译音频文件,同样无需安装。这让项目在文本生成之外多了一个使用场景,并沿用相同的分发思路。

0.10.* 的构建系统变化

从 0.10.0 开始,llamafile 采用新的构建系统,目的是让代码更容易与最新版本的 llama.cpp 保持对齐。代价也说得很清楚:这些构建支持较新的模型和功能,但可能缺少老用户已经习惯的部分特性。项目提供了说明文档,旧版本仍可从发布页面获取。预构建的 llamafile 会标明所捆绑的服务端版本,例如 0.9.* 或 0.10.*,下载前就能知道对应的是哪一版软件。

许可与项目状态

llamafile 项目本身采用 Apache 2.0 许可;项目对 llama.cpp 和 whisper.cpp 的改动使用 MIT 许可,与这两个项目保持一致,以便未来需要时仍可兼容并向上游贡献。完整文档位于 docs.mozilla.ai/llamafile,涵盖快速上手、预构建 llamafile、运行与创建 llamafile、源码安装、技术细节、支持系统、故障排查以及 whisperfile。维护者正在通过项目博客和 GitHub 讨论区收集新用户与老用户的反馈。

核心功能

  • 单文件可执行程序,模型与运行时打包在一起
  • 基于 llama.cpp 与 Cosmopolitan Libc 组合构建
  • 无需安装即可在多数操作系统和 CPU 架构上本地运行
  • 内置 whisperfile,基于 whisper.cpp 的单文件语音转文字工具
  • 支持在相同平台上转写和翻译音频文件
  • 0.10.0 起采用新构建系统,与较新的 llama.cpp 版本保持对齐
  • 预构建 llamafile 会标明所捆绑的服务端版本
  • 项目采用 Apache 2.0 许可,对 llama.cpp 和 whisper.cpp 的改动使用 MIT 许可

适用场景

  1. 1在本机运行开源 LLM 进行实验或离线使用
  2. 2将模型以单个可下载、可执行文件的形式分发给他人
  3. 3使用 whisperfile 转写或翻译音频文件
  4. 4通过 0.10.* 构建系统测试较新的模型
  5. 5偏好经典功能集时回退到更早的发布版本
  6. 6在硬件或 GPU 较强的机器上运行更大的模型

优势与注意事项

优势

  • 把模型部署压缩为一个可执行文件,省去安装步骤
  • 覆盖多数操作系统和 CPU 架构
  • 同时覆盖文本 LLM 与语音转文字两类场景
  • 0.10.* 构建更紧密地跟进上游 llama.cpp
  • 预构建 llamafile 会公开所捆绑的服务端版本

注意事项

  • Windows 无法运行超过 4GB 的可执行文件,更大的 llamafile 需改用二进制加外部 GGUF 权重
  • Windows 用户运行前需重命名文件并添加 .exe 扩展名
  • 0.10.* 构建可能缺少早期版本中已有的部分功能
  • 更大的模型对硬件或 GPU 要求更高,才能获得更准确的回答

定价详情

未标注订阅价格。

基本信息

官方网站
github.com
收录时间
2026年10月10日
支持平台
网页端
中英支持
未标注
API
未标注
本地部署
未标注
适合人群
希望在本机直接运行开源 LLM 和语音转文字模型、又不想折腾运行时安装与依赖管理的开发者和技术型用户。
信息最近更新
2026年10月14日
官网状态
检测中
信息纠错 · 隐私请求
联系我们

工具功能、价格与可用性可能变化,请以官网为准。 由 steven 维护 · 最后更新 2026年10月14日 →

相关工具

全部分类