Stable Diffusion是一款最近在網絡上大火的AI作圖軟件,在這款軟件中我們只需要輸入喜歡的關鍵詞或者風格類型就可以快速生成好看的圖片,小編這次給大家帶來的版本為GUI版本,該版本的優勢為再也不需要本地進行部署了,軟件簡單快捷,感興趣的小伙伴可以下載嘗試。
軟件原理
首先,從名字Stable Diffusion就可以看出,這個主要采用的擴散模型(Diffusion Model)。
簡單來說,擴散模型就是去噪自編碼器的連續應用,逐步生成圖像的過程。
一般所言的擴散,是反復在圖像中添加小的、隨機的噪聲。而擴散模型則與這個過程相反——將噪聲生成高清圖像。訓練的神經網絡通常為U-net。
不過因為模型是直接在像素空間運行,導致擴散模型的訓練、計算成本十分昂貴。
基于這樣的背景下,Stable Diffusion主要分兩步進行。
首先,使用編碼器將圖像x壓縮為較低維的潛在空間表示z(x)。
其中上下文(Context)y,即輸入的文本提示,用來指導x的去噪。
它與時間步長t一起,以簡單連接和交叉兩種方式,注入到潛在空間表示中去。
隨后在z(x)基礎上進行擴散與去噪。換言之, 就是模型并不直接在圖像上進行計算,從而減少了訓練時間、效果更好。
值得一提的是,Stable DIffusion的上下文機制非常靈活,y不光可以是圖像標簽,就是蒙版圖像、場景分割、空間布局,也能夠相應完成。
標簽: AI繪畫
網友評論