跳到主要内容

LocalAI

开源项目

LocalAI 是采用 MIT 许可的开源 AI 引擎,通过兼容 OpenAI 的 API 在本机运行语言、语音、视觉、图像、视频与智能体任务,不强制要求 GPU。

50

工具介绍

LocalAI 是一个采用 MIT 许可的开源 AI 引擎,目标很直接:让文本、语音、视觉、图像、视频、3D 与智能体任务都能跑在你自己已有的硬件上,而不是必须依赖数据中心。它以一个二进制文件的形式发布,前面套一层兼容 OpenAI 的 API,把现有客户端指向这个端点,调用照常工作,只是模型换到了本机。它同时兼容 Anthropic、Ollama 与 ElevenLabs 接口,因此不少工具只需要改一个 URL。

一个 API,背后是可替换的引擎

API 背后的推理引擎并非固定。同一个模型可以跑在 llama.cpp 上,下一个模型换成 vLLM、SGLang 或 MLX,客户端看到的端点和请求完全一致,切换只是模型配置里的一行。核心部分保持精简,只有当某个模型需要时才会把对应引擎作为独立后端拉取进来,这也是为什么一次安装能覆盖这么多能力,却不会膨胀成一个 9 GB 的下载包。

CPU 优先,GPU 只是加速

每一项功能都先提供 CPU 路径,并在 CI 中针对大多数人已有的硬件进行测试,它不是降级备选方案。GPU 会让它更快,但不是必需条件,支持的目标包括 x86_64、ARM64、CUDA、ROCm、SYCL、Metal 与 Vulkan。这一点在实时场景中尤其重要:语音输入、中间调用工具、再通过 WebRTC 输出语音,可以快到接近对话的体验,而转写、说话人分离与语音合成都无需 GPU。

聊天之外的多种模态

语言模型只能处理别人打给它的内容,LocalAI 的引擎则扩展了模型能接触到的东西:带说话人标签和时间戳的实时转写、527 种声音事件识别、声纹与人脸识别、用自然语言查询物体并返回坐标、从一张普通照片估算米制距离,以及从少量图像完成 3D 重建。语音合成支持克隆音色的长文本朗读,覆盖数十种语言,最高 48 kHz,回声消除、降噪与去混响则让语音回路能在真实房间里稳定运行。一个会话可以同时听房间、判断谁在说话、读取桌面上的内容、调用工具并出声回答,全部通过一个 API 在一台机器上完成。

分布式运行与 APEX 量化

增加第二台机器是运行时该操心的事。路由、显存感知放置、前缀缓存亲和、自动扩缩容、P2P、NATS 与故障转移都由运行时处理,你只管加硬件,集群自己决定怎么用。权重则决定模型能不能跑起来,所以项目也自己构建权重:APEX 为每个张量和每一层分配不同精度,一个 35B 的混合专家模型从 64.6 GB 降到 12.2 GB,速度从 30.4 提升到 74.4 tokens/s,困惑度从 6.537 变为 7.088。文件是普通 GGUF,原版 llama.cpp 无需补丁即可打开,目前已有 201 个 APEX 模型进入 LocalAI 模型库。

终端智能体

local-ai chat 会打开一个针对你的 LocalAI 服务器运行的终端智能体。它不是独立工具,而是编译在 local-ai 二进制里的,所以装了 LocalAI 就已经拥有它。它在你已经打开的 shell 中工作,读取文件、在本机执行命令、委派给子智能体,并加载 MCP 服务器、插件与技能。只读操作自行完成,任何可能改变状态的操作都会先征求你的同意。该智能体是嵌入 LocalAI 的 nib,因此其插件、技能与 MCP 生态可以原样使用。

需要留意的是,这是一次破坏性变更:local-ai chat 过去只是普通聊天提示,现在会在审批门控下执行 shell 命令,旧的 /clear 命令已移除,/compact 是最接近的替代。只读工具无需询问即可运行,涵盖读取、搜索以及 ls、cat 这类只读 shell 命令;其余操作都会请求批准,你可以同意、拒绝,或在本会话内信任该工具。--yolo 或 LOCALAI_CHAT_YOLO=1 会批准所有工具调用,这适合沙箱,不适合你的笔记本。

脚本化与状态管理

--cli 让智能体回答管道输入的问题后退出,只读工具仍会运行,因此管道提问可以检查代码仓库或日志文件。非只读的工具调用会因为无人审批而被拒绝,会话以退出码 3 结束,刻意不用 1,以便脚本区分“我拒绝执行”和“我崩溃了”。不加 --cli 直接管道输入问题会被拒绝,并提示使用 --cli。配置、插件与技能存放在 ~/.config/localai/chat/,或设置了 $XDG_CONFIG_HOME 时放在其下,可用 --config-dir 或 LOCALAI_CHAT_CONFIG_DIR 覆盖。该目录按用户而非按服务器划分,因为智能体是客户端,可能指向远程 LocalAI。管理命令通过透传方式调用,Claude Code 插件可以原样安装;在脚本中记得加 --yes,否则非交互环境下 plugin install 会安装插件却保持禁用,打印提示后仍然返回 0。

上手方式

LocalAI 大约一分钟就能跑起来:任意平台的容器、macOS 的 DMG、Linux 的二进制文件,或 Kubernetes 上的 Helm chart。后端会在模型第一次需要时自行下载,基础安装因此保持精简。安装脚本会检测平台、拉取最新发布二进制,local-ai run 则拉取后端并在 localhost:8080 启动 API。

核心功能

  • 单个二进制文件对外暴露兼容 OpenAI 的 API,同时兼容 Anthropic、Ollama 与 ElevenLabs 接口,多数现有客户端只需改一个 URL。
  • 后端可替换:同一个模型可以跑在 llama.cpp 上,下一个模型换成 vLLM、SGLang 或 MLX,客户端看到的端点和请求不变,切换只需改模型配置里的一行。
  • 后端按需下载,只有模型真正需要时才拉取对应引擎,基础安装体积因此保持较小。
  • 覆盖文本生成、工具调用、结构化输出、实时语音、转写、说话人分离、语音合成、声音克隆、视觉、目标检测、深度、3D、图像、视频、音乐与音效生成。
  • CPU 路径优先发布并在 CI 中测试,GPU 只是加速手段而非必需条件。
  • 分布式能力包括路由、显存感知放置、前缀缓存亲和、自动扩缩容与故障转移。
  • 终端智能体编译在 local-ai 二进制内,可读取文件、在审批门控下执行命令,并加载 MCP 服务器、插件与技能。
  • APEX 量化产出标准 GGUF 文件,原版 llama.cpp 无需补丁即可打开。

适用场景

  1. 1在兼容 OpenAI 的端点后面运行本地语言模型,让现有应用无需改动继续工作。
  2. 2搭建实时语音回路:语音输入、中间调用工具、再通过 WebRTC 语音输出。
  3. 3在没有 GPU 的本地流水线中加入视觉、检测、深度或 3D 重建能力。
  4. 4用终端智能体检查代码仓库、执行只读命令并委派给子智能体。
  5. 5从一台笔记本扩展到多台机器,由运行时处理路由、显存感知放置与故障转移。
  6. 6通过同一运行时在本地生成图像、视频、音乐与音效。

优势与注意事项

优势

  • MIT 开源许可,单一二进制文件加兼容 OpenAI 的 API,接入成本低。
  • CPU 优先的设计让多数功能无需 GPU 即可运行。
  • 后端可替换,便于按模型和硬件匹配最合适的推理引擎。
  • 模态覆盖广,从文本、语音延伸到视觉、图像、视频与智能体。
  • 分布式路由、自动扩缩容与故障转移由运行时承担,扩展硬件即可。

注意事项

  • 终端智能体会在其运行的机器上执行 shell 命令,审批门控与 --yolo 设置需要谨慎对待。
  • local-ai chat 已从普通聊天提示变为可执行命令的智能体,旧的 /clear 命令被移除,/compact 是最接近的替代。
  • 在非交互脚本中,plugin install 不加 --yes 会安装插件但保持禁用状态,且仍然返回退出码 0。
  • 管道输入中非只读的工具调用会被拒绝,会话以退出码 3 结束,脚本需要单独处理这一情况。

定价详情

未标注订阅价格。

基本信息

官方网站
localai.io
收录时间
2026年10月10日
支持平台
网页端
中英支持
未标注
API
标注支持
本地部署
未标注
适合人群
希望在自有硬件上运行 AI 模型、又不想被 GPU 绑定的开发者、自托管用户与技术团队。
信息最近更新
2026年10月16日
官网状态
检测中
信息纠错 · 隐私请求
联系我们

工具功能、价格与可用性可能变化,请以官网为准。 由 steven 维护 · 最后更新 2026年10月16日 →

相关工具

全部分类