MOSS-TTSD V2版 - 文本到语音对话生成 支持零样本多人语音克隆 一键整合包下载

无言***

MOSS-TTSD V2版 - 文本到语音对话生成 支持零样本多人语音克隆 一键整合包下载 ... ... ... ...

MOSS-TTSD 是一种语音对话生成模型，能够支持中英文的富有表现力的对话语音合成，支持零样本多说话人语音克隆、语音事件控制和长文本语音生成。
MOSS-TTSD（文本到语音对话）支持中英文的双语语音对话合成，能够将两个说话者之间的对话脚本转化为自然、富有表现力的会话式语音。MOSS-TTSD 支持语音克隆和长单次会话语音生成，非常适合 AI 播客制作。

通俗的讲，只需要上传两段参考音频，输入两个人的对话文字内容，即可一键生成两人的对话音频内容，生成对话语音自然、且富有表现力，几乎接近真人对话水平。


今天分享的 MOSS-TTSD V2版，修复了上个版本flash_attn和硬件不兼容报错问题，V2版支持30和40系显卡（30系以下老卡不支持），支持flash_attn加速。
50系显卡请使用 V1版，按照要求覆盖补丁即可。


应用领域
AI 播客制作： 自动将文本内容转化为多人对话的播客音频，支持零样本人声克隆和长语音生成，降低制作成本。
影视配音与动画： 为影视作品、动画生成自然对话语音，支持多语言切换，提升配音效率。
长篇访谈与会议记录： 将访谈或会议文本转化为语音，保留对话的韵律和情感，便于存档和分享。
数字人对话带货： 为虚拟主播或数字人提供自然流畅的对话语音，增强互动体验。
语音助手与客服： 提升语音助手的对话自然度，支持多轮对话和情感表达，改善用户体验。


使用教程：（建议N卡，显存8G起。支持30-40系显卡，基于CUDA12.4）

输入两个人对话文本内容，用标签[S1]和[S2]区分，上传两段说话人的参考音频，生成即可。



下载地址：
迅雷云盘：https://pan.xunlei.com/s/VOUru8ZIvAUWOwghqo1P2W13A1?pwd=f2u6
百度网盘：

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 66碎银 下载该资源立即购买

解压密码：https://deepfaces.cc/ 复制这个完整的网址即是解压密码，不要有空格，复制粘贴即可

touv***

试了下，这次终于成功了。不过感觉音色还可以，比较像，但口吻不太像。
我觉得基于GPT-SoVITS框架做一个对话应用还是很好改的：
1. 支持引入两个参考语音，分别对应两条参考文本，以及对应的内容文本；
2. 台词按同样的[S1]和[S2]的识别逻辑来划分角色；为了简化逻辑，也可以对应两个参考设立两个内容文本输入框，点击哪个按钮就按照哪个角色来新增一个队列任务。
3. 每生成一段，就自动接续到输出音频文件里。但为了简化生成逻辑，也可以直接生成单独的语音。用户后期可以用其它软件做串接。

GPT-SoVITS对音色、语气和口吻的模仿是目前看来最优秀的。

无言***

touvidia 发表于 2025-7-14 11:08
试了下，这次终于成功了。不过感觉音色还可以，比较像，但口吻不太像。
我觉得基于GPT-SoVITS框架做一个对 ...

作者说了，下个模型会侧重模型音色训练

touv***

无言以对 发表于 2025-7-14 11:39
作者说了，下个模型会侧重模型音色训练

啊，期待！不过我一直以为这些工具都是你写的。