今年阿里内部孵化的妙鸭相机项目爆火,9块9就能天生个人写真。鉴于家里的领导也很喜好,我决定用开源项目FaceChain + Stable Diffusion帮助领导实现个人写真自由。
(演习照片利用经由AI调度的领导照片)
FaceChain安装
FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅须要供应最低一张照片即可得到独属于自己的个人形象数字替人。
项目地址:https://github.com/modelscope/facechain
1.环境准备
根据FaceChain哀求准备依赖环境。以下是我自己电脑的配置,与官方验证过的有一点不同,但也能正常运行这个模型工具。
① 软件
python环境: py3.8pytorch版本: torch2.1.0CUDA版本: 11.8CUDNN版本: 8.6.0操作系统版本: Windows 10② 硬件
CPU: Core i7-7800X主板: TUF X299 MARK 1显卡: GTX 1080Ti(11G)+ RTX4060Ti(16G)内存: 32G硬件配置有点老。如果仅利用单卡1080Ti,虽然只有11G显存,亲测也能正常演习和推断。
2.安装与问题办理
我利用的是第3种安装办法:conda虚拟环境安装。在安装过程中碰着以下几个问题:
① 须要安装N卡对应的torch版本(我的是N卡)
办理方法:
pip3 uninstall torchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
② 提示缺点:implementation for device cuda:0 not found
办理方法:
pip3 install mmcv-full (不须要指定版本)
③ 提示缺点:Distributed package doesn‘t have NCCL built in
办理方法:
set CUDA_VISIBLE_DEVICES=0
如果碰着其他缺点,可以到已经关闭的Issues看看有没办理方法。https://github.com/modelscope/facechain/issues?q=is%3Aissue+is%3Aclosed
FaceChain运行和演习
1.运行
根据安装指南运行FaceChain,运行成功后,打开log中天生的URL即可访问FaceChain操作页面。
http://127.0.0.1:7860
2.演习
按照以下步骤进行演习:
Step 1. 上传操持演习的图片, 1~10张头肩照(把稳: 请避免图片中涌现多人脸、脸部遮挡等情形, 否则可能导致效果非常)Step 2. 点击 [开始演习] , 启动形象定制化演习, 每张图片约需1.5分钟, 请耐心等待~Step 3. 切换至 [形象写真] , 天生你的风格照片演习结果:
FaceChain写真类型
FaceChain供应了两种类型写真:
1.无限风格形象写真
①写真模型(共62种风格)
②写实模型(共13种风格)
2.固定模版形象写真
自带风格不足丰富?希望利用自己的模版?没问题!
FaceChain支持利用自己上传的模版图片。
FaceChain推断
我选择了冬季汉服风格,FaceChain推断处理的效果如下图:
Stable Diffusion扩图和放大
由于FaceChain天生的图片分别率是512x512正方图,觉得写真还是竖图或横图比较好看,以是须要进行扩图和放大。接下来将利用Stable Diffusion(下称SD)进行扩图和放大处理。
1.扩图
这里先容的扩图紧张是利用SD的图生图的局部重绘功能来实现。
①先用PS或其他工具将上个步骤天生的图片扩大成512x768,空缺地方可以处理成玄色,比如我的处理如下图:
②打开SD的图生图选项,将上面处理的图片拖入局部重绘,设置参数如下:
③接下来便是点击天生后等着抽卡了。如果有多个重绘区域跨度比较大,无法抽到满意的效果,则可以一次只处理一个区域,抽到满意的后再处理下一个区域。
2.放大
这里先容的图片放大处理紧张是利用SD的后期处理功能来实现。
将图片拖进后期处理的图片来源里面,缩放比例选择2倍(缩放到1024x1536),放大算法则选择ESRGAN_4x。
放大处理完成后,便是文章开头的终极效果。领导对此挺满意,有兴趣的朋友可以试一试。