新智元報道??

編輯：編輯部

【新智元導讀】雖然此前CEO曾陷入種種爭議，但依然不影響Stability AI登上時代雜志。近日，該公司又發布了Stable Diffusion 的XL 0.9版本，35億+66億雙模型，搭載最大OpenCLIP，讓AI生圖質量又有了新的飛躍。

(資料圖)

Stable Diffusion又雙叒升級了！

最近，Stability AI發布了最新版的Stable Diffusion XL 0.9（SDXL 0.9）。

比起之前的模型，這波更新在圖像和構圖細節上，都有了質的飛躍。

尤其是在參數上，這次的SDXL0.9具有35億參數基礎模型和66億參數模型的集成管線。相比之下，Beta測試版僅用了單個31億參數的模型。

為了生成更逼真的圖像，以及更大的深度和更高的分辨率（1024x1024），SDXL 0.9使用了兩個CLIP模型，包括迄今為止最大的OpenCLIP模型（OpenCLIP ViT-G/14）。

不僅如此，SDXL 0.9在消費級顯卡上就能運行。只需要Win10/11或Linux操作系統、16GB內存，以及具有8GB以上顯存的英偉達RTX 20系顯卡即可。

SDXL 0.9和SDXL Beta的差異究竟有多大？

咱們看圖說話。

實測效果

下面就來看看新版的SDXL 0.9，在圖片細節上有什么不一樣吧~

Prompt：外星人在拉斯維加斯漫步

SDXL Beta版

SDXL 0.9

Prompt：優勝美地國家公園的一只狼

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒感，低分辨率，動漫，過度飽和

SDXL Beta版

SDXL 0.9

Prompt：手舉咖啡

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒狀，低分辨率，動漫

SDXL Beta版

SDXL 0.9

官方表示，SDXL系列還會提供一系列超越基本文本prompt的功能。

包括圖像對圖像的prompt（輸入一個圖像以獲得該圖像的變化）、內畫（重建圖像的缺失部分）和外畫（構建一個現有圖像的無縫擴展）。

SDXL 0.9在兩個CLIP模型上運行，包括迄今為止訓練的最大的OpenCLIP模型之一（OpenCLIP ViT-G/14），這增強了0.9的處理能力和創造具有更大深度和1024x1024更高分辨率的逼真圖像的能力。

SDXL團隊不久將發布一個研究博客，更詳細地介紹這個模型的規格和測試。

榮登Time最具影響力公司

就在最近，Stability AI被時代雜志選為100家最有影響力的公司之一。

對于Stability AI，時代雜志是這樣介紹的——

如果你能用文字描述，Stability AI可以將其轉化為圖片。

Stable Diffusion是該公司幫助訓練的免費開源文本到圖像生成器，在8月份推出后，它改變了世界對于AI潛力的理解。

然而，Stability AI很快陷入了種種爭議，包括如何訓練這些工具，以及從互聯網上獲取數據的版權訴訟之中。

盡管如此，該公司表示，在推出Stable Diffusion 2.0的一個月內，App Store TOP 10應用中的4個，背后都是這個模型。

而公司CEO Emad Mostaque也被報道經常夸大公司的表現，此前他曾聲稱：Stability AI「真正的開源」為「突破」鋪平了道路。

SDXL Beta

實際上，SDXL的Beta版本也沒發布多久，可見作圖這一塊的版本迭代真的是日新月異。

當時，StabilityAI就表示，Stable Diffusion XL并不是最終發布版的名字，并且也并非是v3，因為SD-XL的架構和SD-v2系列的模型架構非常相似。

下面幾張SD-XL官方發布的例圖，可以看出圖像的質量已經非常能打了。

SD-XL相比之前版本的改進如下：

使用較短的描述性prompt即可生成高質量圖像

可以生成更貼合prompt的圖像

圖像中的人體結構更合理

與 v2.1和 v1.5版本(程度較輕)相比，SD-XL生成的圖片更符合大眾審美

負面提示詞（negative prompt）是可選項

生成的肖像圖更逼真

圖像中的文本更清晰

清晰可讀的文字

在v1系列和v2.1版本的Stable Diffusion模型中，并不具備在圖片中生成可讀文本的能力。

雖然SD-XL生成的文本信息并不總是準確，但確實得到了巨大的提升。

一個年輕的女性舉著一個牌子，上面寫著「Stable Diffusion」，頭發高亮，坐在餐廳外面，棕色的眼睛，穿著裙子，側燈

更好的人體結構

Stable Diffusion在生成人體解剖結構方面一直存在諸多問題，多幾條腿、少個胳膊實在是太常見不過的問題。

比如說SD-v1.5生成瑜伽的圖像，經常會出現扭曲的人體。

而SD-XL雖然生成的圖像并不完美，不過在人體姿態方面已經有了顯著的進步。

更有美感（more aesthetic）

比如同樣以屋子為主題，SD-XL可以生成更對稱、視覺效果更好的照片。

SD-XL在肖像照片上也有顯著改進。

一個女人的照片

參考資料：

https://stability.ai/blog/sdxl-09-stable-diffusion

關鍵詞：