FoleyCrafter 是一个开源基于文本的视频到音频天生框架,可以自动为无声视频天生清晰、逼真的声音效果,而且声音与视频内容完备匹配。它能够理解视频的语义内容,自动匹共同适的声音,比如视频里有狗,FoleyCrafter就会天生狗叫声,而且确保声音和视频是同步的。FoleyCrafter确保声音与视频的同步性门被关上的瞬间,那“砰”的一声也在同一时候响起。这种精确的同步,让视听体验更加沉浸和真实。
利用FoleyCrafter非常大略。你只须要供应一段视频和一些大略的笔墨描述,它就能自动天生你须要的声音效果。乃至,你可以通过笔墨描述来指定想要的声音,比如输入“海浪声”,它就能为你天生海浪拍打岸边的声音。
FoleyCrafter不挑视频类型。无论是电影、动画还是游戏视频,它都能游刃有余,为不同类型的视频内容供应定制化的声音效果。
项目地址:https://github.com/open-mmlab/foleycrafter
一键包下载:https://deepface.cc/thread-295-1-1.html
核心功能:
高质量音频天生:基于预演习的文本到音频模型,FoleyCrafter能够天生高质量的音频,让无声视频抖擞新生。
语义对齐:通过语义适配器,FoleyCrafter确保天生的声音与视频内容在语义上高度干系。
韶光同步:韶光掌握器卖力精确的音视频同步,让每一个声音都涌如今它该当涌现的时候。
文本提示掌握:FoleyCrafter支持利用文本描述来掌握音频天生,实现用户意图的可控和多样化的视频到音频天生。
利用教程
1、下载一键包,解压并双击运行一键启动;
2、上传须要配音的视频,可以根据须要输入提示词和反向提示词,比如“laughter(笑声)”,如下图
FoleyCrafter AI视频自动配音黑科技,让无声视频瞬间拥有逼真配音
3、可以根据须要调度高等参数,参数用场右侧有阐明解释
FoleyCrafter AI视频自动配音黑科技,让无声视频瞬间拥有逼真配音
4、所有参数设置完成后,点击下方的“天生”按钮,等待自动完成即可。
温馨提示:运行此软件须要N卡,显存12G起。请自行比拟硬件是否符合哀求。