◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。
最近《隱藏的角落》紅遍網絡,秦昊在劇中飾演的張東升一角更是深入人心。如果盤點張東升的成名場景,一定有這一幕:“你想看看二十年后的自己嗎?”
兩邊是蜘蛛網,中間是溜冰場,作為數學老師,張東升的成績是如此的光禿禿。雖然該劇是特效化妝,但脫發已經成為年輕人普遍的焦慮,尤其是從事科研、程序員等高壓力行業的人??磥矶d頂已經成了命中注定的命運。有多少人想象過二十年后自己會禿頂成什么樣子?
看完《隱藏的角落》后,嗶哩嗶哩Up主持人馬斯魯爾決定用代碼來實現他的“夢想”。MarsLUL是谷歌的一名在職程序員。他在加州大學歐文分校學習計算機相關專業。
在最近上傳的一段視頻中,他利用StyleGAN制作了一個禿頂發生器。他能從現在濃密的頭發中看到20年后頭發稀疏的自己。先看看效果如何。
我們先還原一下東升禿頂的全過程。發際線后移的速度真的讓人覺得恐怖。
從生成效果來看,除了臉部有一些差異,最終的發型是非常一致的。
看MarsLUL的,這個圖簡直不能接受。
網友的評論更是讓人揪心:他們好像看到了我的未來。
如果你也有脫發焦慮癥,想看看二十年后的自己,不妨做同樣的事情。接下來,我們來詳細說說禿頂生成器是如何實現的。
基于StyleGAN的生成器原理在嗶哩嗶哩的視頻中,MarsLUL沒有詳細展示代碼的實現過程,但給出了使用的核心技術和詳細的參考資料。這款禿頂生成器使用的技術和市面上常見的圖片生成器一樣,都是NVIDIA開源的StyleGAN。StyleGAN在圖像合成的質量和分辨率上有著出色的表現,通常我們看到的真實感人臉交換都是基于它。
本文基于StyleGAN技術《發型轉移——語義編輯GAN潛碼》(鏈接見文末),詳細介紹了如何在保持臉型不變的情況下改變發型的全過程。
GAN的基本原理是通過對抗性訓練,學習潛在空間分布到真實數據的非線性映射。通常,潛在空間和語義屬性之間的關系是未知的。比如潛在代碼如何決定生成的發型屬性?如何區分目標屬性和非目標屬性?
因此,潛在代碼估計和語義編輯是解決潛在空間和語義屬性之間未知關系的關鍵。在這里,研究人員詳細解釋了兩個模塊的原理。
首先將輸入圖像送入預訓練殘差網絡進行潛在碼估計,然后將生成的估計值送入生成器。此時,對原始輸入圖像的初步猜測已經完成。對于這幅圖像,我們可以將預先訓練好的圖像分類器應用于特征提取,同時,從輸入圖像中提取相同的特征。
接下來,在特征空間中執行梯度下降,以最小化特征向量L2的損失,并更新潛在碼估計(紅色箭頭)。這種語義特征向量梯度下降的方法相對于像素損失梯度下降的方法更有優勢,因為直接使用像素空間的L2優化會陷入不好的局部最優。
生成潛在的代碼評估
語義編輯是指編輯具有目標屬性的圖像,同時保留所有其他信息。在這里,我們的目標屬性是頭發。
在編輯之前,我們需要在潛在空間中找到可以分隔二進制屬性的特定邊界,其中每個邊界將對應一個頭發屬性。比如發型、顏色、發際線高度、面部毛發等。;
對于任何一個二元屬性,在勢空間中都存在一個超平面,使得來自同一側的所有樣本都具有相同的屬性,從而可以訓練出負責每個屬性的獨立線性SVM。所以我們需要從StyleGAN的512維位勢空間中找到一個超平面。
要找到超平面,您需要成對的潛在代碼數據和該屬性的得分。最后,研究人員決定使用在大數據集(CelebA)上訓練的預訓練分類器來獲取頭發屬性。由具有10個匹配屬性的10個分類器產生大約20k個潛在代碼和分數組。這些成對的勢碼在頭發屬性上訓練獨立的線性SVM,通過驗證和評估,準確率達到80%。
對于每一幅輸入圖像,先找到它在StyleGAN的勢空間中的具體位置,然后向特定方向移動,進行語義編輯。
如上圖所示,研究人員在StyleGAN空間中找到了年輕的萊昂納多·迪卡普里奧圖像的潛在代碼,畫出了一個與劉海超平面正交的方向,并沿著這個方向移動了潛在代碼的位置。最后創造出不同劉海的萊昂納多。這是最終的動態效果圖:
關于條件邊界,研究人員談到了許多屬性的耦合。比如發際線的高度和年齡有關。女性通常發型較長,男性的胡須和鬢角更明顯。因此,有必要將目標屬性與其相關屬性分開。
為此,這種通過尋找超平面邊界來編輯人臉屬性的方法也存在一些缺點。當編輯具有一個屬性的面部時,一些其他屬性也可能由于它們的相關性而被改變。此外,該模型無法完成跨性別人臉交換。研究人員表示,也許更多的分類器和用特殊數據集進行訓練可以解決上述問題。
最后,MarsLUL承認自己做了這個禿頂發生器,目的是為了警醒大家合理作息,防止脫發!獻上完整的視頻鏈接,希望大家都能成為頭發卷厚的程吧。(雷鋒網雷鋒網雷鋒網)
bilibili地址:https://www.bilibili.com/video/BV1ot4y197MG?from=search
◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。
導語:有個難以啟齒的秘密,有一次公司組織旅游的時候,我意外和男同事發生了關系,做人就要耐得住寂寞,受得住心,雖然這個年紀背叛婚姻肯定是有原因的,但是不管怎么樣,都不應該這樣子做,因為這樣子不但毀了自己,還會導致自己的余生過的很慘,所以不管怎么樣,都要好好珍惜彼此,“46歲女人:一次旅游意外和男同事發生關系,這事要告訴老公嗎?”這是怎么一回事?我們一起來看看吧!
工作時間:8:00-18:00
電子郵件
掃碼二維碼
獲取最新動態