但就在最近,可灵开始收费了,而且年费要大几千,其实有点儿压力~
就在几天前,对标快手可灵的CogVideoX横空出世了,还可以支配到本地电脑利用,从下图可以看到厥后果乃至不输快手可灵
CosyVoice最新中文版:
https://pan.baidu.com/s/1CeNftzUH6i8PD0p9jwsxaw?pwd=ndcl
CogVideoX的提示词上限为226个token,视频长度为6秒,帧率为8帧/秒,视频分辨率为720480。用户只需输入一段笔墨,就能快速天生充满想象力的视频,还可以自由选择天生的视频风格,包括卡通、3D、黑白、油画、电影等,并配上软件自带的音乐
CogVideoX通过领悟文本、韶光和空间三个维度,实现了高效、连贯的视频天生,并采取DiT架构和优化算法,显著提升了推理速率和天生质量
事情流程
· 数据预处理:将输入的图像或视频数据转换为模型可以处理的格式,将图像切分成固定大小的patches(小块),然后将这些patches转换为特色向量
· 噪声引入:在数据预处理后的特色向量上逐步引入噪声,形成一个噪声增加的扩散过程,这个过程可以视为从原始数据到噪声数据的转换
· 模型演习:利用引入了噪声的特色向量作为输入,演习Transformer模型,模型的目标是学习如何逆转噪声增加的过程,即从噪声数据规复出原始数据
· 视频天生:在模型演习完成后,通过输入随机天生的噪声和原始数据的映射关系到模型中,经由模型的处理后天生新的图像或视频
利用方法
1.点击软件界面右下角的load按钮,选择项目自带的workflow.json文件并加载
2.在新打开的界面中,输入待天生视频的提示词
3.设置参数(一样平常保持默认)
4.点击Queue Prompt按钮
轻微等待一下,视频就天生好了,甄嬛传中皇上啃鸡腿这段我怎么没见过?
把稳事变
①项目安装路径不要包含中文
②推举利用GTX1070以上显卡运行此项目
③利用过程中若不慎关闭软件后台,请重新打开,并刷新网页