stablediffusion底层绘画逻辑

stablediffusion底层绘画逻辑

我们以下逻辑都是用开花的大树来举例

Ai绘画就是加噪与降噪的过程

大家可以把这个草坪上的花瓣

想象成图片上的噪点

加噬

原来干净的草坪被花瓣逐渐填满

而这个就是给图片加噪点的过程

而这过程没有什么难度

最难的过程是给一个铺满花瓣的草坪

用某种花瓣，逆向还原成原来干净

草坪的样子，这个就是给sd绘画的过程

因此哈，我们无论是使用sd还是mj都是先生成了一个模糊的图像，然后在

慢慢变清晰的，这个就是算法给图片降噪点！

因此我们衍生出来两个问题：

1.为什么要加噪点

2.如何降噪

第一：为什么要加噪点?

简单点来说：：就是给图片降低维度！！！！！

因为我们大家都知道:：不论图片还是手机界面等等，都是由rgb像素块组成的

如果我们有一张512*512像素大小的图片.那么这个图片在计算机眼中就是：512*512*3=786432的一组数字

对于计算机来说很简单，但是对于算法来看，这是必须相当高的算力了，这显然是我们家用的显卡是满足不了这么强的算力的，那么我们就必须给图片加噪点.

那么我们拿这个草坪来举例

首先我们先想象一下，这个花瓣是噪点

但是这个花瓣是没有完全覆盖住草坪的，而我们的大脑一看到这样的，就知道这是一块草坪而我们通过不断给图片加噪点，训练ai工具，Ai工具就能逐渐从满是噪点的图片的中提取到图片的关键信息，从而知道图片内容是什么.

加噪点的过程是循序渐进的,Ai理解这个信息，抓取重点信息，对其进行标注，

因此用到的数据相对于原图来说，用到的算力是非常小的，这样的好处就是：相同大小下学习更多图片以及相同数量下更少的算力

第二：噪点如何去除?

还是这个草坪，如果这个草坪上只有一个花瓣，那我们自己把这个花瓣拿掉还是很容易的

如果这时候，草坪上又多了一片花瓣,想要恢复原来的草坪，还是很容易的

第一步：把刚刚落的花瓣拿掉

第二步：再把原来的花瓣拿掉

如果这时候，风吹了一批又一批的花瓣，这时候在拿掉容易吗?很显然不容的，但是我们把最后的花瓣先拿掉一点，恢复成第三次的草坪样子,在将第三次的花瓣恢复成第二次的草坪样子，在拿掉最后的花瓣，那我们就恢复成原来的花瓣了

通过这样的一批又一批的拿掉花瓣的过程，对标sd就是采样步数,步数越高,理论上那就效果越好如果采样步数设置1,那最后效果肯定越差,而这过程就是图片降噪的过程.

而图片降噪的过程,在ai的运行中有专门的算法，去预测图片的噪点，然后呢进行每次迭代的降噪，而这个就是对标sd的采样器，而我们的采样器有很多，这个就可以理解成对一个铺满花瓣的草坪的清理方法，有些人是一个一个的,有些是用扫帚

第三：Ai是如何根据我们的指令作图的？

当我们给ai一个指令的时候，他是如何画出来的呢？

首先我们需要满足两个条件

1.有一个超级大的，降维的模型库

2.能够识别语义的模型（我们输入的每个字，在计算机看来就是一串数字)Chadgpt最后的t,也是这个模型（Transformer),对文字进行降维

举一个例子：

当我们给ai输入了一个《草坪上的大树》，假如这个草坪代表是10,这个大树代表20，那么就在模型库中找到对应的坐标，进行输出，因此ai能够理解我们的意思并且做出来相应的图片！

因此ai在收到指令后，会出一个模糊的图，在进行不断的迭代，与更新，这样图片才会逐渐清晰这就好比你在沙漠上画画，当自己画了一个车框后，沙子又逐渐覆盖了，然后自己学习画车门，学会了在画出来一个车框和车门，沙子又逐渐覆盖了，自己又学习如何画车轮，学会了在画出来了一个车框车门车轮，最后把车画出来了，这个过程就是ai训练不断加噪和降噪的过程！！！！！