FoleyCrafter 是一个开源基于文本的视频到音频天生框架,可以自动为无声视频天生清晰、逼真的声音效果,而且声音与视频内容完备匹配。
它能够理解视频的语义内容,自动匹共同适的声音,比如视频里有狗,FoleyCrafter就会天生狗叫声,而且确保声音和视频是同步的。
FoleyCrafter确保声音与视频的同步性门被关上的瞬间,那“砰”的一声也在同一时候响起。
这种精确的同步,让视听体验更加沉浸和真实。

利用FoleyCrafter非常大略。
你只须要供应一段视频和一些大略的笔墨描述,它就能自动天生你须要的声音效果。
乃至,你可以通过笔墨描述来指定想要的声音,比如输入“海浪声”,它就能为你天生海浪拍打岸边的声音。

FoleyCrafter不挑视频类型。
无论是电影、动画还是游戏视频,它都能游刃有余,为不同类型的视频内容供应定制化的声音效果。

项目地址:https://github.com/open-mmlab/foleycrafter

FoleyCrafter AI视频自动配音黑科技让无声视频瞬间拥有逼真配音

一键包下载:https://deepface.cc/thread-295-1-1.html

核心功能:

高质量音频天生:基于预演习的文本到音频模型,FoleyCrafter能够天生高质量的音频,让无声视频抖擞新生。

语义对齐:通过语义适配器,FoleyCrafter确保天生的声音与视频内容在语义上高度干系。

韶光同步:韶光掌握器卖力精确的音视频同步,让每一个声音都涌如今它该当涌现的时候。

文本提示掌握:FoleyCrafter支持利用文本描述来掌握音频天生,实现用户意图的可控和多样化的视频到音频天生。

利用教程

1、下载一键包,解压并双击运行一键启动;

2、上传须要配音的视频,可以根据须要输入提示词和反向提示词,比如“laughter(笑声)”,如下图

FoleyCrafter AI视频自动配音黑科技,让无声视频瞬间拥有逼真配音

3、可以根据须要调度高等参数,参数用场右侧有阐明解释

FoleyCrafter AI视频自动配音黑科技,让无声视频瞬间拥有逼真配音

4、所有参数设置完成后,点击下方的“天生”按钮,等待自动完成即可。

温馨提示:运行此软件须要N卡,显存12G起。
请自行比拟硬件是否符合哀求。