Ultravox

Ultravox

Ultravox 是 Fixie.ai 为开发者打造的实时语音AI平台,适用于需要在实时对话中讲话、听取和响应的代理。它的目标用户群是构建电话机器人、应用内语音助手和其他语音界面的团队,这些场景中延迟或机械式的交付会破坏用户体验。该产品位于多个高端语音代理背后,提供面向生产部署的API和SDK,而非仅用于演示。

大多数语音技术栈在推理前将语音转录成文本,这会增加延迟并剥夺语调、节奏和音高等信号特性。Ultravox 采用原生语音处理方案:它自行读取音频,并运行专用推理基础设施,而非依赖外部LLM池连接。

该平台提供REST API、适用于网页和移动端的开发工具包、内置电话钩子,以及用于RAG语料库和定制语音克隆的工具。Ultravox v0.7 在Big Bench Audio基准测试中名列前茅,团队还在Hugging Face上发布了开源模型,并进行UltraVAD的轮流发音研究。

当语音AI工程师、SaaS创始人和客服自动化团队需要秒级响应、自然的电话或浏览器音频中的交互,而非仅仅是聊天式文本机器人时,他们会选择使用Ultravox。

主要功能:
  1. Speech-native模型跳过转录,因此语调和节奏保持连贯

  2. Ultravox v0.7在Big Bench Audio上达到91.8%,启用推理后达到97%

  3. 自主推理架构保持低延迟,无需等待外部大型语言模型池

  4. 提供REST API及适用于网页和移动端的SDK,支持主要电信供应商接口

  5. UltraVAD v0.1预测说话轮次结束,而非在用户刚思考时打断

  6. fixie-ai组织在Hugging Face上发布的开放权重模型

Pros:
  1. 基于语音的原生设计避免了语音转文本(STT)的延迟,保持了对话中的语调和节奏。

  2. 按使用付费套餐包括每月30分钟免费通话,无需订阅。

  3. Hugging Face上的开放权重模型使团队能够了解底层语音技术栈。

  4. Pro 级别取消了生产语音工作负载的硬并发限制。

Cons:
  1. 即用即付限制您最多同时进行五次通话。

  2. 企业定价和高级限制需要联系销售。

  3. 专用语音生成模型在网站上仍标记为即将推出。

常见问题:

Ultravox 是免费使用的吗?

是的。Ultravox 提供每月 $0 的按使用付费计划,包含30分钟免费通话,无限制的 Playground 使用且无峰值价格。超过免费分钟数的使用按每分钟 $0.05 收费,包含文本转语音(TTS)。

Ultravox 每分钟费用是多少?

Ultravox 在按使用付费和专业计划中,每分钟收费 $0.05,含文本转语音(TTS)。SIP 通话在按使用付费计划中每分钟额外收 $0.005,专业计划中每分钟额外收 $0.0048。线程令牌的使用费为每百万未缓存输入令牌 $2,每百万输出令牌 $15。

什么是 Ultravox 的语音本地化处理方法?

Ultravox 使用语音本地模型处理音频,而不是先将语音转换成文本。此设计减少了推理开始前的延迟,并保留了诸如语气、节奏和音高等转录通常忽略的副语言信号。

Ultravox 支持电话集成吗?

支持。Ultravox 内置了与主要电话提供商的集成,并在其计划中包含 SIP 价格。专业级别增加了一个外呼调度器,用于安排语音活动。

Ultravox 提供哪些模型?

Ultravox v0.7 是核心语音模型,在 Big Bench Audio 上非推理模式得分为 91.8%,启用推理后得分为 97%。UltraVAD v0.1 负责动态端点检测和轮次管理。开源权重发布在 Hugging Face,链接为 huggingface.co/fixie-ai。

我可以在 Ultravox 上同时进行多少通话?

Ultravox 的按使用付费计划限制同时通话数量为五个。专业计划(每月 $100)取消并发限制,企业计划支持可定制的并发数量和优先级 SLA 选项。

分类:

定价:

免费试用和收费混合

标签:

Voice AI
Speech Models
Real-time AI
Developer APIs
Telephony

使用的技术:

Ant Design
Framer Sites
Google Tag Manager
Fathom
Google Fonts
Font Awesome
GitHub

评论:

Give your opinion on Ultravox :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Ultravox 替代方案(和付费)

By Rishit