Ditto - 实时可控的数字人说话合成，更高质量的数字人生成框架 本地一键整合包下载

无言***

Ditto - 实时可控的数字人说话合成，更高质量的数字人生成系统 本地一键整合包下载 ... ... ... ... ... .. ...

Ditto 是由蚂蚁集团开源的实时可控说话头合成框架。只需要上传一张图像和一段音频，即可实现了高精度、低延迟的说话头动画生成。
Ditto 支持真人、二次元、虚拟IP等全场景适配，可创建多样化数字分身，还支持歌曲驱动生成，更具备精细控制头部表情动作，比如凝视、头部姿势、情绪等，除了驱动头部，还支持半身和全身肖像。
Ditto 轻量级推理引擎仅需4GB显存即可运行，兼容主流消费级显卡，实测10秒的音频生成基本在30秒内可以完成，老显卡也能快速完成推理生成。

技术特点 ‌
实时可控合成‌：Ditto通过优化音频特征提取、运动生成和视频合成三个关键组件，实现了实时推理和低首帧延迟。 支持对合成说话头的精细控制，如目光、头部姿态和情感表达。 ‌
高精度动画生成‌：采用扩散模型生成细腻的表情和自然的头部动作，与音频信号高度同步。 解决了传统方法中推理速度慢、面部运动控制不够精细以及视觉伪影等问题。 ‌
显式身份无关运动空间‌：通过引入显式身份无关运动空间，替代了传统的变分自编码器（VAE）表示。 这一设计降低了扩散学习的复杂性，同时提高了合成说话头的可控性和逼真度。 ‌
多风格与个性化适配‌：Ditto支持多种风格的说话头动画生成，满足不同应用场景的需求。 通过在线模仿学习机制，可快速适配个性化交互需求，如虚拟形象风格定制。


应用领域 ‌
虚拟助手与AI客服‌：Ditto能够生成与语音同步的高保真说话头动画，为虚拟助手和AI客服提供逼真的交互体验。适用于电商直播、在线服务等场景，增强用户互动感。 ‌
娱乐与游戏‌：在短视频平台、游戏NPC等娱乐场景中，Ditto可用于生成个性化的虚拟形象。 支持多种风格的表情与动作，提升娱乐内容的趣味性和多样性。 ‌
教育与培训‌：在线教育平台可利用Ditto技术创建虚拟教师，为学生提供沉浸式学习体验。 支持多语言虚拟主持人功能，适用于国际教育和跨文化交流。 ‌
企业服务与营销‌：企业可利用Ditto生成虚拟发言人，用于会议记录、产品发布等场景。 定制化虚拟形象有助于品牌塑造和市场推广。


使用教程：(建议N卡，显存4G起。基于CUDA12.1)
上传一张参考图和一段驱动音频，提交生成即可。
视频教程：https://www.toutiao.com/video/7484834221052166666/


下载地址：（10/20系卡无法使用，只支持30/40系N卡）
迅雷云盘：https://pan.xunlei.com/s/VOLyMDOHeHq9x3WlceZhlSccA1?=pwd=5rse
夸克网盘：https://pan.quark.cn/s/e8f7cc5e076e
百度网盘：

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 99碎银 下载该资源立即购买

解压密码：https://deepface.cc/ 复制这个完整的网址即是解压密码，不要有空格，复制粘贴即可

ns***

这个显存要求低喔。不知道效果如何，期待一键包，谢谢

maya***

什么情况

无言***

maya2024 发表于 2025-3-23 12:48
什么情况

20系不支持，后面为了兼容50系卡，估计会全面淘汰20系老卡
建议换新卡吧

jerry***

亲自试了下，8秒语音，生成速度在30秒以内
本人4060TI显卡

无言***

jerryleee1 发表于 2025-3-24 20:15
亲自试了下，8秒语音，生成速度在30秒以内
本人4060TI显卡

生成速度和质量都很优秀

ken***

visual 全安裝
不知道還缺了什麼?

无言***

ken7121 发表于 2025-3-26 00:06
visual 全安裝
不知道還缺了什麼?

你是什么显卡

ken***

无言以对 发表于 2025-3-26 08:06
你是什么显卡

N卡rtx 4060 8g