跳到主要内容

Together AI

Together AI 是一个全栈 AI 云平台,用于运行、微调和部署开源模型,面向需要生产级推理而不愿自建 GPU 集群的工程团队。

免费额度模型 API
190

工具介绍

Together AI 是一个面向 AI 开发者的全栈云平台,核心用途是让团队通过 API 运行、微调和部署开源模型,而不必自己搭建和运维 GPU 集群。它把 Serverless 模型目录、批处理、专用端点和 GPU 集群放在同一套体系下,定位是 AI 产品的基础设施层,而非面向终端用户的应用。

覆盖多模态的 Serverless 模型目录

平台的入口是按需推理,支持文本、图像、视频、代码和语音模型。团队通过 API 调用托管好的开源模型,省去部署服务栈的准备工作。目录跨度很大,从低价小模型到大型前沿开源权重系统都有,定价页按模型列出每百万 token 的输入输出费率。对于需要先横向对比再决定的团队,这种即开即用的方式能显著缩短评估周期。

批处理与承诺型容量

除交互式请求外,Together AI 提供异步批处理,单模型可扩展至 300 亿 token,适用于合成数据生成等大规模任务。面向稳定生产流量,承诺型推理容量提供按 token 计价、预留吞吐量和 99% 可用性 SLA。平台强调 API 具备直接替换的兼容性,已有集成迁移时改动较小。

专用端点与 GPU 集群

需要更多控制权的团队可以在专用基础设施上部署模型。平台同时出售 GPU 集群,包括 NVIDIA GB200 NVL72 和 HGX B200,并有面向视频、音频、图像等生成式媒体负载的配置。Together AI 是 NVIDIA 优选合作伙伴,其公开的 Cursor 案例描述了将推理栈移植到 ARM 主机、为 Blackwell Tensor Core 编写自定义内核,以及在 72 GPU 的 NVL72 拓扑上设计并行网格等工程细节。

从新权重到测试端点

Cursor 案例是平台工作流最具体的公开说明。Cursor 研究团队内部训练编码模型并产出候选权重,Together AI 使用 NVIDIA TensorRT-LLM 和 NVFP4 完成量化、验证,并在数天内拉起类生产测试端点。Cursor 随后运行内部评估,在生产流量下做分阶段 A/B 测试,再完成切换。对于频繁迭代模型权重的团队,这条可重复的路径比单次推理性能更有价值。

微调、后训练与企业支持

平台还覆盖微调和后训练,团队可以在托管基础设施上适配基础模型,而不必自建训练环境。企业客户可获得前置部署工程师支持,这些工程师来自支撑大型推理部署的团队。官方称每月服务超过 400 万亿 token,客户包括 Cursor、Zoom、Salesforce 和 Mozilla;合规方面具备 SOC 2 Type II 和 ISO 27001:2022。一则企业客户评价提到首 token 延迟降低 2 倍、成本下降约三分之一,但该数据来自单一客户,不宜直接外推。

适用边界

平台适合已经选定开源或开放权重模型、需要规模化可靠服务的团队。小项目可以从 Serverless 推理起步,随流量增长再转向专用端点。主要权衡在于复杂度:模型目录庞大、定价因模型而异,专用容量和企业支持需要销售沟通。希望由单一供应商统一承接推理、微调和 GPU 容量的团队会看重这种广度;需求较窄的团队则可能更适合更简单的单模型服务商。

核心功能

  • 按需调用文本、图像、视频、代码和语音开源模型的 Serverless 推理
  • 异步批处理,单模型可扩展至 300 亿 token
  • 承诺型推理容量,按 token 计价、预留吞吐量,并提供 99% 可用性 SLA
  • 兼容现有 API 的接入方式,降低迁移成本
  • 在专用基础设施上部署模型的专用端点
  • 微调与后训练服务
  • GPU 集群,包括 NVIDIA GB200 NVL72 和 HGX B200,面向生成式媒体等负载
  • SOC 2 Type II、ISO 27001:2022 合规及 NVIDIA 优选合作伙伴身份

适用场景

  1. 1通过 API 调用开源大模型,无需自行配置 GPU
  2. 2运行合成数据生成等大规模异步批处理任务
  3. 3在托管基础设施上微调或后训练基础模型
  4. 4在 GPU 集群上部署视频、音频和图像生成模型
  5. 5将训练好的模型权重快速部署到类生产测试端点进行评估
  6. 6为延迟敏感的生产应用预留专用容量

优势与注意事项

优势

  • 覆盖从实验到专用生产部署的完整模型生命周期
  • Serverless 层让团队无需基础设施承诺即可起步
  • 承诺型容量包含 99% 可用性 SLA,适合生产负载
  • 与 Cursor 的公开合作展示了可复用的权重到端点流程及 Blackwell 推理实践
  • 合规资质包括 SOC 2 Type II 和 ISO 27001:2022

注意事项

  • 按模型和 token 计价,不同模型成本差异较大
  • 专用容量和企业方案需要与销售团队沟通
  • 模型目录庞大,小团队选型时可能增加决策负担
  • 预留容量和 SLA 适用于承诺型方案,而非入门级 Serverless 层

定价详情

Serverless 推理按每百万 token 计价,费率因模型而异,例如 Kimi K3 输入 $3.00、输出 $15.00,GLM-5.3-Flash 输入 $0.15、输出 $0.50,DeepSeek V4.1 Flash 输入 $0.30、输出 $1.20,多数模型提供缓存输入折扣。承诺型推理容量按 token 计价,包含预留吞吐量和 99% 可用性 SLA。价格可能调整,请以官网为准。

基本信息

官方网站
together.ai
收录时间
2026年10月8日
支持平台
网页端
中英支持
未标注
API
未标注
本地部署
未标注
适合人群
适合希望在生产环境运行开源模型、又不想自建和运维 GPU 基础设施的 AI 工程团队、模型研究者和产品组织。
信息最近更新
2026年10月16日
官网状态
检测中
信息纠错 · 隐私请求
联系我们

工具功能、价格与可用性可能变化,请以官网为准。 由 steven 维护 · 最后更新 2026年10月16日 →

相关工具

全部分类