DICE-Talk - 语音驱动图片生成带有人类情感的唱歌/说话数字人视频框架 支持50系显卡 本地一键整合包下载 .. ...
DICE-Talk 是由腾讯联合复旦大学联合开发的用于生成具有生动、保留身份的情感表达的头像视频的新框架,支持提供一张图片和一段音频驱动图片生成说话/唱歌数字人视频。同时支持保留上传参考图人物身份信息以及支持参考音频情绪化,生成带有各种人类真实情感的说话数字人视频。
DICE-Talk 类似之前发布的 Sonic ,都支持一段音频驱动头像生成数字人说话视频,区别是 DICE-Talk 支持可控的人类情感生成,比如开心、愤怒、厌恶、恐惧等情感生成,同时支持情感和身份信息控制,通过参数调节情感和身份保留指数,更加可控。
DICE-Talk - 语音驱动图片生成带有人类情感的唱歌/说话数字人视频框架 支持50系显卡 本地一键整合包下载 .. ...
应用领域:
1. 影视与媒体制作
后期制作:可用于影视配音、动画角色口型同步,减少人工逐帧调整的工作量。
虚拟主播:生成具有情感表达的数字人,提升直播或视频内容的互动性和真实感。
2. 教育与培训
在线课程:为虚拟教师添加自然的情感表情和唇形同步,增强教学感染力。
语言学习:通过动态表情辅助发音教学,帮助学习者更直观地理解语音与口型的关系。
3. 心理健康与情感交互 情感陪伴:结合类似“文心一言情感关怀之旅”的技术,生成具有共情能力的虚拟形象,提供心理支持。
社交辅助:为孤独症患者或社交障碍人群设计交互式情感训练工具。
4. 数字人与虚拟助手
企业服务:用于客服数字人,通过情感化表达提升用户体验。 个人助理:集成到智能设备中,使交互更自然生动。
5. 游戏与娱乐 角色动画:快速生成游戏NPC的对话动画,减少手动调参成本。
互动叙事:在互动故事中实现角色情感与玩家输入的动态匹配。
6. 跨文化传播
多语言内容:适配不同文化背景的非言语表达习惯,提升本地化内容的真实感。
使用教程:(建议N卡,显存16G起。支持50系显卡,基于CUDA12.8)
上传一张参考头像,一段驱动音频,选择生成的情感类型,设置身份保留和情绪生成的强度,选择是否裁剪输入图像
最后 生成即可
下载地址:
迅雷云盘:https://pan.xunlei.com/s/VOQM2hr9yyB83n4MsAoPeAs8A1?pwd=su8n 默认不自带模型,下载一键包解压后,先运行下载模型,请等待自动下载完成,再运行一键启动。
(启动器有问题,下载解压一键包后,下载下面附件里的启动器补丁,覆盖替换原一键包里的启动器)
一键启动.exe
(526.5 KB, 下载次数: 53)
百度网盘:游客, 上上宾会员可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 66碎银 下载该资源 立即购买
解压密码:https://deepfaces.cc/ 复制这个完整的网址即是解压密码,不要有空格,复制粘贴即可
|