終結擴散模型，IGN單步生成逼真圖像！UC伯克利谷歌革新LLM，美劇成靈感來源

文章來源：新智元

生成式AI模型的新範式要來了。 UC伯克利谷歌提出冪等生成網路（IGN），只需單步即可生圖。

圖片來源：由無界 AI生成

已經紅遍半邊天的擴散模型，將被淘汰了？

當前，生成式AI模型，比如GAN、擴散模型或一致性模型，通過將輸入映射到對應目標數據分佈的輸出，來生成圖像。

通常情況下，這種模型需要學習很多真實的圖片，然後才能盡量保證生成圖片的真實特徵。

最近，來自UC伯克利和谷歌的研究人員提出了一種全新生成模型——冪等生成網路（IGN）。

論文位址：

IGNs可以從各種各樣的輸入，比如隨機雜訊、簡單的圖形等，通過單步生成逼真的圖像，並且不需要多步反覆運算。

這一模型旨在成為一個「全域映射器」（global projector），可以把任何輸入數據映射到目標數據分佈。

簡言之，通用圖像生成模型未來一定是這樣的。

有趣的是，《宋飛正傳》中一個高效的場景竟成為作者的靈感來源。

這個場景很好地總結了「冪等運算符」（idempotent operator）這一概念，是指在運算過程中，對同一個輸入重複進行運算，得到的結果總是一樣的。

即

正如Jerry Seinfeld幽默地指出的那樣，一些現實生活中的行為也可以被認為是冪等的。

冪等生成網路

IGN與GAN、擴散模型有兩點重要的不同之處：

• 與GAN不同的是，IGN無需單獨的生成器和判別器，它是一個「自對抗」的模型，同時完成生成和判別。

• 與執行增量步驟的擴散模型不同，IGN嘗試在單個步中將輸入映射到數據分佈。

那麼，冪等生成模型（IGN）怎麼來的？

IGN訓練例程PyTorch代碼的一部分示例。

實驗結果

得到IGN后，效果如何呢？

作者承認，現階段，IGN的生成結果無法與最先進的模型相競爭。

在實驗中，使用的較小的模型和較低解析度的數據集，並在探索中主要關注簡化方法。

當然了，基礎生成建模技術，如GAN、擴散模型，也是花了相當長的時間才達到成熟、規模化的性能。

實驗設置

研究人員在MNIST（灰度手寫數字數據集）和 CelebA（人臉圖像數據集）上評估IGN，分別使用28×28和64×64的圖像解析度。

作者採用了簡單的自動編碼器架構，其中編碼器是來自DCGAN的簡單五層鑒別器主幹，解碼器是生成器。 訓練和網路超參數如表1所示。

生成結果

圖4顯示了應用模型一次和連續兩次后兩個數據集的定性結果。

如圖所示，應用IGN 一次 （f （z）） 會產生相幹生成結果。 然而，可能會出現偽影，例如MNIST數位中的孔洞，或者面部圖像中頭頂和頭髮的扭曲圖元。

再次應用 f （f （f （z））） 可以糾正這些問題，填充孔洞，或減少面部雜訊斑塊周圍的總變化。

圖7顯示了附加結果以及應用f三次的結果。

表明，當圖像接近學習流形時，再次應用f會導致最小的變化，因為圖像被認為是分佈的。

潛在空間操縱

作者通過執行操作證明IGN具有一致的潛在空間，與GAN所示的類似，圖6顯示了潛在空間演算法。

分佈外映射

作者還驗證通過將來自各種分佈的圖像輸入到模型中以生成其等效的「自然圖像」，來驗證IGN「全域映射」的潛力。

轉換為圖5中的真實圖像來證明這一點。

原始圖像x，這些逆任務是不適定的。 IGN能夠創建符合原始圖像結構的自然映射。

如圖所示，連續應用f可以提高圖像品質（例如，它消除了投影草圖中的黑暗和煙霧偽影）。

谷歌下一步？

通過以上結果可以看出，IGN在推理方面更加有效，在訓練后只需單步即可生成結果。

它們還可以輸出更一致的結果，這可能推廣到更多的應用中，比如醫學圖像修復。

論文作者表示：

我們認為這項工作是邁向模型的第一步，該模型學習將任意輸入映射到目標分佈，這是生成建模的新範式。

接下來，研究團隊計劃用更多的數據來擴大IGN的規模，希望挖掘新的生成式AI模型的全部潛力。

最新研究的代碼，未來將在GitHub上公開。

參考資料：