在本文中，我们还将利用Meadowrun（一个开源库，可以轻松地在云中运行Python代码）把DALL·E Mini天生的图像输入到其他图像处理模型(GLID-3-xl和SwinIR)中来提高天生图像的质量，通过这种办法来演示如何将开源的ML模型支配到我们的云做事器上（AWS的EC2）。
DALL·E-2论文要点DALL·E-2基于以条件出的unCLIP模型，而unCLIP模型实质上是对GLIDE模型[4]的增强版，通过在文本到图像天生流程中添加基于预演习的CLIP模型的图像嵌入。
与GLIDE比较，unCLIP可以天生更多样化的图像，在照片真实感和标题相似性方面丢失最小。unCLIP中的解码器也可以产生多种不同图像，并且可以同时进行文本到图像和图像到图像的天生。
unCLIP框架
为了对给定的文本天生图像，提出了两阶段的过程:
1)利用先验编码器将文本编码到图像嵌入空间
2)利用图像扩散解码器根据图像嵌入天生图像。
由于它是通过反转CLIP图像编码器来天生图像的，因此本文将该框架命名为unCLIP。
CLIP[3]可以共同学习文本和图像的表示形式，如上图（虚线上方）所示将一对（文本，图像）对相同的嵌入空间进行编码。
演习过程
给定一个（图像x，文本y）对，首先获取图像和文本嵌入，称为zᵢ= clip（x），zₜ= clip（y）。
先验：p（zᵢ| y，zₜ）产生图像嵌入zᵢ条件y。
解码器：P（X |Zᵢ，Y），根据图像嵌入zᵢ(和可选的文本标题y)产生图像。
p（x | y）= p（x | y，zₜ）= p（x |zᵢ，y）p（zᵢ| y，zₜ）
演习细节
利用CLIP数据[3]和DALL-E[2]数据(共计650M图像)进行演习。
VIT-H/16图像编码器：输入为256×256图像，总计32层transformers，嵌入尺寸为1280。
GPT文本编码器：具有1024个嵌入和24层transformers解码器。
CLIP Model演习完成后，先验模型、解码器模型和上采样模型都只在DALL-E数据集(统共约250M幅)上演习。
解码器模型是一个3.5B的 Glide模型，包含两个模块：1.2B 24层transformers文本编码器和2.3B的ADM模型。 在演习期间，有50％的概率删除标题，有10％概率删除图像的嵌入。
为了天生高分辨率图像，作者演习了两个UPS采样器模型。 两者都利用ADMNET体系构造。 第一个将图像从64×64到256×256，第二个图像从256×256到1024×1024。
对GLIDE 模型的改进
与Glide比较，Unclip通过演习先验模型进一步天生了一些示例图像嵌入。 因此解码器（ADM模型）利用了所有输入，包括文本和“假”图像嵌入，天生终极图像。
上面我们对DALLE有了一个大致的先容，下面我们看看如何支配我们自己的模型
支配dall·e mini（craiyon）本文的这部分将先容不须要$ 1,700 GPU，就可以支配自己的dall·e mini模型，我们将展示如何运行Saharmor/Dalle-Playground，并且将DALL·E Mini代码包装成一个HTTP API，然后通过一个大略的网页来调用该API天生图像。
Dalle-Playground供应了一个可以在Google Colab中运行的Jupyter Notebook。 但是如果你想长期利用，有时候就会碰着COLAB的动态利用限定。 这就须要你升级到Colab Pro（$ 9.99/月）或COLAB PRO+（$ 49.99/月），但是我们可以通过直策应用AWS，花几分钱就能搞定这个事。
前期准备
首先，你须要一个AWS账户。如果以前从未在AWS上利用过GPU实例则须要增加配额。AWS帐户在每个地区都有限定特定实例类型的配额。GPU实例配额共有4个:
L-3819A6DF:“所有G和VT实例要求”
L-7212CCBC:“所有P实例要求”
L-DB2E81BA:“按需运行G和VT实例”
L-417A185B:“按需运行P实例”
对付一个新的EC2帐户，这些都设置为0，以是如果你运行代码如果得到这个，解释须要首先申请配额
Unable to launch new g4dn.xlarge spot instances due to the L-3819A6DF quota which is set to 0. This means you cannot have more than 0 CPUs across all of your spot instances from the g, vt instance families. This quota is currently met. Run `aws service-quotas request-service-quota-increase --service-code ec2 --quota-code L-3819A6DF --desired-value X` to set the quota to X, where X is larger than the current quota. (Note that terminated instances sometimes count against this limit: https://stackoverflow.com/a/54538652/908704 Also, quota increases are not granted immediately.)
可以点击上面的stackoverflow链接来理解如何要求增加配额。但是申请配额是须要审核的以是一样平常会要等1-2天。
然后便是须要安装Meadowrun。下面是一个在Linux中利用pip的例子:
$ python3 -m venv meadowrun-venv$ source meadowrun-venv/bin/activate$ pip install meadowrun$ meadowrun-manage-ec2 install --allow-authorize-ips
运行dall·e mini
上面准备完成后就可以运行Dalle-Playground的后端了
import asyncioimport meadowrunasync def run_dallemini():return await meadowrun.run_command("python backend/app.py --port 8080 --model_version mini",meadowrun.AllocCloudInstance("EC2"),meadowrun.Resources(logical_cpu=1,memory_gb=16,max_eviction_rate=80,gpu_memory=4,flags="nvidia"),meadowrun.Deployment.git_repo("https://github.com/hrichardlee/dalle-playground",interpreter=meadowrun.PipRequirementsFile("backend/requirements.txt", "3.9")),ports=8080)asyncio.run(run_dallemini())
上面的代码功能如下：
run_command见告Meadowrun在EC2实例上运行Python Backend/app.py-port 8080 -model_version mini。这段代码利用Dalle-playground后端在端口8080上启动了Dall·e Mini的迷你版本。这个迷你版本比Dall·e Mini的超大（Mega）版本小27倍，虽然性能有一些丢失，但是占用的资源很少，方便我们利用。接下来的几行见告Meadowrun我们对云做事的哀求是什么：1 CPU，16 GB内存，并且我们申请的是能够接管概率80％中断的抢占实例，抢占实例可能会由于别人的高竞价而中断，如果不想被中断则可以将max_eviction_rate变动为0，也便是我们现在想要一个按需实例。但是由于按需的花费比较多，以是Dall·e Mini的最低哀求是至少4GB GPU内存的NVIDIA GPU。下面便是在https://github.com/hrichardlee/dalle-playground repo中下载代码，然后安装相应的python包，但是这里须要进行一个修正，以将jax [cuda]软件包添加到requiending.txt文件中。JAX是Google的机器学习库，大致相称于Tensorflow或Pytorch。末了，便是在机器上打开8080端口，这样外部可以进行访问。运行上面的代码，如果看到类似的输出，解释已经可以启动了实例
Launched a new instance for the job: ec2-3-138-184-193.us-east-2.compute.amazonaws.com: g4dn.xlarge (4.0 CPU, 16.0 GB, 1.0 GPU), spot ($0.1578/hr, 61.0% chance of interruption), will run 1 workers
Meadowrun见告我们这个实例将花费我们多少钱(每小时只有15美分!)
Building python environment in container eccac6...
接下来，Meadowrun会基于我们指定的requirements.txt文件的内容构建一个容器。这会花费一些韶光但是在构建完成后Meadowrun会对容器的镜像进行缓存（除非requirements.txt文件变动，否则不会重新构建）。但是如果有一段韶光不用这个镜像，Meadowrun也会将其清理。
--> Starting DALL-E Server. This might take up to two minutes.
如果你看到上面的，解释dalle-playground已经成功下载了，但是它须要进行几分钟的初始化。
--> DALL-E Server is up and running!
这句话解释已经成功运行了，末了便是须要在本地机器上运行前端，然后调用我们刚才运行好的后端代码，如果你没有npm，还须要安装node.js:
git clone https://github.com/saharmor/dalle-playgroundcd dalle-playground/interfacenpm start
在本地运行的前端页面中须要输入我们刚才构建的后端地址，例如http://xxx.us-east-2.compute.amazonaws.com:8080,如下图所示
我们输入：olive oil and vinegar drizzled on a plate in the shape of the solar system，看当作果
我们自己的做事已经正常的运行了，现在看看效果，在第一组图像中，我们显然有一个蝙蝠侠般的人物，但他并没有真的在祈祷。在第二组图像中，看起来我们要么得到橄榄油，要么得到行星，但他们也没有在同一幅图像中同时涌现。这可能是由于我们用的是迷你版的缘故原由，下面让我们看看“超级”版本的DALL·E Mini是否能做得更好。
DALL·E Mega
dall·e Mega是Dall·e Mini的超大版本（超大杯），这意味着它们的体系构造相似，但参数更多。从理论上讲，我们可以在上面代码中-model_version mega_full更换 - model_version mini就可以。但是这样Dalle-playground初始化代码大约须要45分钟。由于Mega版的预演习文件有10GB而我们下载的带宽只有35 Mbps。
为了省钱我们对Dalle-playground进行了一些调度，将模型先缓存到S3中，再从S3中下载。 cache_in_s3.py可以调用wandb.Api().artifact(" dale -mini/ dale -mini/mega-1:latest").download()下载预演习模型，然后上传到S3中。
要利用S3我们就要创建一个S3 bucket，并授予Meadowrun EC2角色访问它：
aws s3 mb s3://meadowrun-dalleminimeadowrun-manage-ec2 grant-permission-to-s3-bucket meadowrun-dallemini
S3 bucket名称须要全局惟一，然后利用Meadowrun在一台更便宜的机器上启动永劫光运行的下载任务，下载很大略，只须要很小的内存，也不须要GPU：
import asyncioimport meadowrunasync def cache_pretrained_model_in_s3():return await meadowrun.run_command("python backend/cache_in_s3.py --model_version mega_full --s3_bucket meadowrun-dallemini --s3_bucket_region us-east-2",meadowrun.AllocCloudInstance("EC2"),meadowrun.Resources(1, 2, 80),meadowrun.Deployment.git_repo("https://github.com/hrichardlee/dalle-playground",branch="s3cache",interpreter=meadowrun.PipRequirementsFile("backend/requirements_for_caching.txt", "3.9")))asyncio.run(cache_pretrained_model_in_s3())
然后便是修正模型代码，让它从S3而不是从wandb下载文件，并且我们利用/meadowrun/machine_cache文件夹，该文件夹可以在一台机器上由meadowrun的所有容器共享。这样在同一台机器上多次运行同一个容器，就不须要重新下载这些文件了。
import asyncioimport meadowrunasync def run_dallemega():return await meadowrun.run_command("python backend/app.py --port 8080 --model_version mega_full --s3_bucket meadowrun-dallemini --s3_bucket_region us-east-2",meadowrun.AllocCloudInstance("EC2"),meadowrun.Resources(1, 32, 80, gpu_memory=12, flags="nvidia"),meadowrun.Deployment.git_repo("https://github.com/hrichardlee/dalle-playground",branch="s3cache",interpreter=meadowrun.PipRequirementsFile("backend/requirements.txt", "3.9")),ports=8080)asyncio.run(run_dallemega())
末了须要把稳的是：Meadowrun的安装会设置了一个AWS Lambda并且定期运行，如果有一段韶光没有运行作业，它会自动清理实例。当然你也可以手动清理实例,命令如下：
meadowrun-manage-ec2 clean
下面看看效果：
看样子很不错了，但是这些图像还不能与OpenAI的DALL·E相提并论，由于我们自己也没法像OpenAI的DALL·E那样演习模型，但我们可以考试测验添加一个扩散模型来改进图像中的更风雅的细节。我们还将添加一个模型来放大图像，由于它们现在只有256x256像素。
构建我们自己的图像天生模型在本文的后半部分，我们将利用meadowdata/meadowrun-dallemini-demo，来优化模型天生的图像，这个想法来自于 jina-ai/dalle-flow。
DALL·E Mini:我们在文章的上半部分已经做了先容了，DALL·E是两种模型的组合。第一个模型以图像为演习工具，学习如何将图像“压缩”为向量，然后将这些向量“解压缩”回原始图像。第二个模型在图像/标题对上进行演习，并学习如何将标题转换为图像向量。演习结束后，我们可以在第二个模型中输入新的文本并产生一个图像向量，然后将该图像向量输入到第一个模型中，产生一个新的图像。
GLID-3-xl:扩散模型。扩散模型是通过，模糊（别号扩散）图像并在原始/模糊图像对上演习模型来演习的。该模型学会从模糊版本重修原始图像。扩散模型可用于各种任务，我们这里将利用GLID-3-XL优化图像中的细节。
SwinIR:图像缩放模型(又叫图像规复)。图像规复模型是通过对图像进行降尺度处理来演习的。该模型学习从缩小后的图像产生原始的高分辨率图像。
git clone https://github.com/meadowdata/meadowrun-dallemini-democd meadowrun-dallemini-demo# assuming you are already in a virtualenv from beforepip install -r local_requirements.txtjupyter notebook
我们编辑S3_BUCKET_NAME和S3_BUCKET_REGION，以匹配在上面中创建的存储桶。
我们这里对一些主要的代码所做大略的注释：
调度了所有模型随附的示例代码增加了S3缓存的部分，并在dalle_wrapper.py，glid3xl_wrapper.py和swinir_wrapper.py中供应易于利用的接口。
所有模型在Linux以外的任何其他操作上都可能无法运行，以是将local_requirement.txt从model_requirentess.txt分开，这样在Windows或Mac上也都没有问题了 。
现在这些模型是作为批处理作业来运行的，Meadowrun将重用单个EC2实例。如果你有兴趣（钱）也可以利用meadow.run_map在多台GPU机器上并走运行这些模型。
让我们看当作果吧!DALL·E Mini天生8张图片:
我们选择一张图片时，GLID-3-xl会根据选择的图片天生8张新的图片。
然后我们选择个中一张图片，并将其从256x256升级到1024x1024像素:
看着还不错啊，
以下是OpenAI的DALL·E从相同的内容:
看看其余一个的比较：
这是OpenAI的
OpenAI的DALL·E的效果还是最好的，毕竟大力失事业么。但是经由我们优化的DALL·E Mini也还过的去，毕竟是开源的并且随着不断的演习它会变得更好。
总结这篇文章先容DALL·E-2论文的一些要点，并且演示了如何利用Meadowrun来支配他的一个开源版本的实现，如果你有兴趣，可以按照我们供应的流程搭建一个属于自己的图像天生做事。
引用：
[1] Aditya Ramesh et al. “Hierarchical Text-Conditional Image Generation with CLIP Latents.” arXiv:2204.06125, 2022
[2] Aditya Ramesh et al. “Zero-Shot Text-to-Image Generation.” arXiv:2102.12092, 2021.
[3] Alec Radford et al. “Learning Transferable Visual Models From Natural Language Supervision.” arXiv:2103.00020, 2021.
[4] Alex Nichol et al. “GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models.” arXiv:2112.10741, 2021.
[5] meadowrun.io