ChatTTS

ChatTTS

ChatTTS 是一个为对话而构建的开源文本到语音模型。2Noise 团队在超过 10 万小时的中文和英文语音数据上进行了训练,因此它在双向对话中听起来自然流畅,而不仅仅是预设的旁白。

其区别在于在细节层面进行韵律控制。该模型可以加入笑声、暂停和插入语,并能在一次会话中处理多个发声者。这使它非常适合用于大型语言模型助手、对话音频以及对话密集的多媒体内容。

开发者可以通过 pip 安装或克隆 GitHub 仓库。在 Hugging Face 上的开源版本是一个基于 4 万小时数据的基础模型,遵循 AGPLv3+ 协议。团队将其定位为研究和对话用途,若有路线图方面的问题,可以通过 [email protected] 联系。

主要功能:
  1. 将笑声、停顿和插话整合到合成语音中

  2. 通过一次推理调用运行多说话人对话

  3. 在超过100,000小时的中英文音频上训练

  4. 音频输出流式传输,实现实时播放

  5. 通过 pip 安装或从 Hugging Face 获取权重

Pros:
  1. 开源项目,拥有庞大的GitHub社区和2Noise的积极开发。

  2. 细粒度韵律控制,包括笑声、停顿和插话。

  3. 支持流式推理、批处理以及多说话人对话。

  4. 可在PyPI和Hugging Face上获得,便于本地快速配置。

Cons:
  1. 仅限学术和研究用途,禁止用于商业项目。

  2. 仅支持英语和中文,且尚未宣布支持其他语言。

  3. 需要本地Python环境;建议使用GPU硬件以加快生成速度。

  4. 官方2noise.com网站内容简洁,大部分文档托管于GitHub。

常见问题:

ChatTTS 是免费使用的吗?

是的。ChatTTS 是基于 AGPLv3+ 开源协议的开源软件。您可以通过 pip 安装,或者从 GitHub 克隆仓库,完全免费。

ChatTTS 支持哪些语言?

ChatTTS 支持英语和中文。其主模型是在超过 10 万小时的这两种语言音频数据上训练的。

ChatTTS 能用于商业项目吗?

不能。ChatTTS 仅供学术和研究用途。Hugging Face 的模型卡和项目文档明确限制了其商业和法律用途。

如何安装 ChatTTS?

对于稳定的 PyPI 版本,运行 pip install ChatTTS;想要最新版可运行 pip install git+https://github.com/2noise/ChatTTS。模型权重托管在 Hugging Face 的 2Noise/ChatTTS。

我在哪里可以下载 ChatTTS 模型权重?

开源的 40,000 小时基础模型托管在 Hugging Face,地址是 huggingface.co/2Noise/ChatTTS。您也可以克隆 GitHub 仓库,并通过 ChatTTS Python 包加载模型。

ChatTTS 输出的音频采样率是多少?

ChatTTS 输出的音频采样率为 24,000 Hz。生成的波形可以使用 torchaudio 保存,或直接在 Python 笔记本中播放。

定价:

免费

标签:

ChatTTS
Open-Source
Text-to-Speech
Conversational AI
Dialogue TTS
Chinese English TTS

使用的技术:

GitHub
Python
Hugging Face

评论:

Give your opinion on ChatTTS :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 ChatTTS 替代方案(和付费)

By Rishit