无言以对 发表于 2024-8-31 10:25:32

audiocraft - 免费文本转音乐、AI音乐生成、AI音乐创作工具,Facebook开源,本地一键整合包下载


AudioCraft 是一个由Facebook Research开发的PyTorch库,专注于深度学习在音频生成领域的研究。这个强大的工具包集成了两个最新的AI音频生成模型:AudioGen和MusicGen,能够产生高质量的声音和音乐。
今天的一键包也包含了 AudioGen 和 MusicGen 两个部分,主要演示MusicGen,因为MusicGen的模型基本支持了AudioGen的所有功能。之前也发过过类似的工具,比如 Stable Audio Tools,同样,audiocraft不仅可以生成各种模拟音频效果,还能减少音损。用户使用该AI工具,只需要在输入文本内容后,即可生成高质量、逼真的音频和音乐。AudioCraft 使用了两万小时的授权音乐来训练 MusicGen。具体来说,依赖于 10K 高质量音乐曲目的内部数据集,以及 ShutterStock 和 Pond5 音乐数据。

最后,最重要的一点,AudioCraft生成的音乐是可以用于商业用途的,不用担心版权纠纷。


应用场景

音乐创作:使用MusicGen,你可以根据简单的文本指令创造出独一无二的音乐作品。
语音合成:AudioGen可以将文本转化为自然流畅的声音,适用于有声读物或语音助手等领域。
音频压缩与解码:EnCodec提供高效高质的音频编码与解码方案,可用于音频传输和存储优化。
版权保护:AudioSeal的水印技术可对音频内容进行安全标记,防止未经授权的使用


效果试听

MusicGen生成效果:

默认官方的提示词”a light and cheerly EDM track, with syncopated drums, aery pads, and strong emotions“
翻译过来”一首轻快欢快的电子舞曲,有切分音鼓、轻快的拍子和强烈的情感“



提示词”Punk rock with loud drum and power guitar“
翻译过来”带有响亮鼓声和强力吉他的朋克摇滚“




AudioGen生成效果:


提示词"Birds chirping in the mountains"
翻译过来”山间鸟鸣“





使用教程:
官方程序提供了10 个预训练模型。




着重介绍以下几个模型:

facebook/musicgen-small : 300M 型号,仅文本到音乐

facebook/musicgen-medium :1.5B 型号,仅文本到音乐

facebook/musicgen-melody : 1.5B 型号,文本转音乐和文本+旋律转音乐

facebook/musicgen-large : 3.3B 型号,仅文本到音乐

facebook/musicgen-melody-large : 3.3B 模型,文本到音乐和文本 + 旋律到音乐

facebook/musicgen-stereo-melody-large :所有以前的型号都针对立体声生成进行了微调 - 小、中、大、旋律、旋律大

如果你的显卡较好,显存12G起,推荐facebook/musicgen-stereo-melody和facebook/musicgen-stereo-melody-large这两个模型,生成的效果是最好的。
如果你的显卡一般,比如8G显存起,可以用 facebook/musicgen-small和facebook/musicgen-medium。
官方推荐 facebook/musicgen-stereo-melody 这个模型,综合能力最好。

考虑到一键包大小,一键包只内置了 facebook/musicgen-stereo-melody 这个模型,如果需要体验其他模型,只需要切换到任意模型,提交的时候后台会自动下载。
也可以单独下载网盘提供的模型包,下载后拷贝到软件根目录下,右键解压到当前文件夹即可。

下载地址:
**** Hidden Message *****

kj123456789 发表于 2024-8-31 12:19:17

这个好:lol

zetihuang 发表于 2024-8-31 20:13:52

本帖最后由 zetihuang 于 2024-8-31 20:19 编辑

要是就好了

wxwk168 发表于 2024-8-31 21:03:08

这个可以有

beierjie39 发表于 2024-8-31 21:17:40

这个厉害了

king 发表于 2024-9-1 00:56:22

下载资源

szfjm 发表于 2024-9-1 07:57:47

谢谢分享,下载试试,看看效果如何

smcan 发表于 2024-9-1 15:40:01

准备研究一下,学习学习

yncncn 发表于 2024-9-2 09:23:42

脸书还是挺猛的 最近玩得大语言模型LLaMA就是他开源的 导致各大厂家纷纷开源。。真滴不错

少雯啊 发表于 2024-9-2 16:24:31

试一下看看怎么样:)
页: [1] 2 3 4 5 6 7 8 9
查看完整版本: audiocraft - 免费文本转音乐、AI音乐生成、AI音乐创作工具,Facebook开源,本地一键整合包下载