Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)
今天分享的这个实际上是在原有Wav2Lip项目的基础上进行优化的,而部署下来中我也发现很多问题,例如缓存、界面、执行效率问题等,并针对性的做了优化。https://7up.pics/images/2024/04/02/640.gif
温馨提示,需要有独立显卡,N卡才能用,CPU和A卡就别下了。
不解答任何软件使用问题,请确认会用再下载!
报错问题请在此跟帖,贴出报错内容,看到后会回复。
如报错“未找到文件”,请参考此贴设置 点击进入
如果遇到生成后出现其他的人脸的现象,删除目录下 last_detected_face.pkl 这个文件,重新生成即可!
如果遇到提示找不到指定文件错误,请手动设置ffmpeg环境变量,具体站内搜索,有相关教程。
如果使用自己录制的视频做素材,建议不要张嘴说话,只做一些简单的点头表情等,不需要张嘴说话。素材帧率选择25帧为最佳效果,视频分辨率不要超过1080P.
如果你想要更好的效果,目前开源里效果最好的数字人,也只有腾讯的MuseTalk了,点此进入
准备需要准备音频和视频文件。音频文件:
[*]建议音频长度与视频的长度相同(比如你是10秒钟的视频,那么你的音频长度建议是10秒。如果音频长度比视频长度长,视频会自动向后循环延长)。
[*]音频文件格式:wav 和mp3
视频文件:
[*]你选择的视频帧中必须都有一张脸,否则将报错。(比如你视频总时长10秒,中间有2秒没有人脸的画面,就会报错)
[*]推荐H264编码的mp4视频格式
提示:该版本支持批量。批量支持多段视频多段音频、多段视频单段音频。举个例子:
[*]你有3个视频,3段音频,那么会按照你选择的顺序视频1对应音频1、视频2对应音频2进行处理。
[*]你有3个视频,1段音频,那么会按照你上传的所有视频都对应这个音频进行处理。视频1对应音频1、视频2对应音频1、视频3对应音频3。
开始处理最简单的方式:将视频和音频拖拽到对应的文件框内,点击开始生成,完毕!
如果你想深入了解各个参数的作用,请继续往下看!
参数详解
视频质量:Fast快速:Wav2Lip音频转口型模式。Improved改进:Wav2Lip音频转口型模式 +唇部周围带有遮罩羽化,去除唇部周围边框。Enhanced增强:Wav2Lip音频转口型模式 + 遮罩羽化 + GFPGAN高清脸部增强Experimental实验性:在增强的模式上优化执行效率。
https://7up.pics/images/2024/04/02/573b5ebb23fd1cb2789e94cf5b656513_640_wx_fmtgiffromappmsgtpwebpwxfrom5wx_lazy1wx_co1.gif
如果不是机器配置太差默认推荐选 Enhanced 和 Experimental
分辨率选项full resolution全分辨率half resolution半分辨率注意:测试下来半分辨率会在某些情况下存在不兼容问题,建议这个选项选全分辨率Wav2Lip版本选项Wav2Lip优点:更准确的口型同步、在没有声音时会保持嘴巴闭合。缺点:有时会产生牙齿缺失(部分情况下)。Wav2Lip_GAN优点:效果看起来更好,保留说话者原有表情。缺点:不太擅长遮盖原始的嘴唇动作,尤其是在没有声音的情况下。建议:先尝试 Wav2Lip,如果遇到口齿上有很大缝隙的效果,再切换到Wav2Lip_GAN版本。启用脸部平滑启用后,wav2lip 将独立裁剪每个帧上的脸部。适用于视频中的快速移动或剪辑。如果脸部角度奇怪,可能会导致抽搐。禁用后,wav2lip 会在 5 帧之间混合检测到的人脸位置。适合缓慢移动,尤其是对于不常用角度的脸部。当脸部在画面中快速移动时,嘴巴可能会偏移,在切割之间看起来很可怕。Padding (填充):此选项控制在每个方向上从面部裁剪中添加或删除的像素数。
此选项可以帮助去除下巴或脸部其他边缘的硬线条,但填充过多或过少都会改变嘴巴的大小或位置。通常的做法是在底部添加 10 个像素,建议尝试不同的值,找到最佳效果。
Mask遮罩部分
Mask尺寸将增加蒙版覆盖的区域的大小。(脸部周围有边框可以减少此数值,例如:1.5)Mask羽化决定了蒙版中心和边缘之间的混合量。(脸部周围有边框也可以增加此数值 )启用Mask嘴部跟踪会将遮罩的位置更新到嘴巴在每一帧上的位置(速度较慢)注意:由于帧被裁剪到脸上,嘴巴位置已经很近似了,只有当发现视频的遮罩似乎没有跟随嘴巴时,才启用此功能。启用Mask调试开启后将使背景灰度和蒙版变彩色,可以看到蒙版在框架中的位置。(此参数改成True后,可以更直观的看到参数效果)
最后,推荐一个默认效果比较好的参数,大家也可以根据自己的素材自行调节:视频质量选项:Enhanced分辨率选项:full resolutionWav2Lip版本选项:Wav2Lip启动追踪旧数据:True启用脸部平滑:True嘴部上边缘:0嘴部下边缘:10嘴部左边缘:0嘴部右边缘:0Mask尺寸:1Mask羽化:1启用嘴部追踪:True启用调试:False
项目地址:https://github.com/anothermartz/Easy-Wav2Lip
下载地址:
夸克网盘:https://pan.quark.cn/s/5f9a77b4da7b 解压密码:[email protected]
百度网盘:**** 本内容需购买 ****
象征性收取10两碎银,实际免费分享。注册激活账号,登陆两天就有了。 无言以对 发表于 2024-4-2 16:45
象征性收取10两碎银,实际免费分享。注册激活账号,登陆两天就有了。
解压密码是多少啊?我试了几遍都提示密码不对 :handshake 谢谢分享! 报错:未找到文件 报错未找到文件怎么处理