ControlNet僅靠一張照片完成“舊房改造” | GitHub熱榜第一

Alex 發自 凹非寺

量子位 | 公眾號 QbitAI

這是同一個房間改裝前后的樣子：

一下子質感Up，從凌亂過時變成了有腔有調的現代風。

至于設計費嘛，其實是…一分錢都沒花！

因為這并不是專業設計師做的方案，而全靠一只AI完成。

——只用給AI一張照片，它就能搞定的那種。

還可以選擇不同風格。

如此實用的“舊房改造”AI，很快引來大波網友駐足圍觀；原帖登上了GitHub熱榜第一，目前已收獲2700+顆星。

還在HackerNews上引起熱議。

有網友稱，這個應用讓他覺得很驚喜，并表示：

如果這種AI還能添加一些功能就更好了，比如給生成圖片中各設施進行估價，這樣就有機會落地商用了。

還有網友指出：

這實際上就是一種生成式預訓練Transformer，和其他Transformer本質是一樣的。

一張圖就能搞定房間設計

不管怎么說，這個AI確實在現有技術上整出了實用且新穎的用法。量子位沒忍住也親自上手試了試。

我先找來幾張破舊房間的照片，然后開始和AI共同設計改造。

說是共同改造，但其實我要做的，就只用給AI一張圖，然后點擊兩個選項：風格和房間用途。

比如，這里選擇現代風的客廳：

幾秒鐘后，我眼前一亮。不仔細對比左右兩張圖的格局，真的很難相信這是同一個房間。

除了現代風，還有其他選擇，于是我又試了試極簡風：

雖然這似乎不太“簡”，但很精美，甚至比上面的現代風更勝一籌。（給我看得都心動了…）。

不過需要說明的是，目前此AI一個IP每天最多只能用3次——實在想多弄幾張的話，可以換臺電腦。

看到這里，話說一只小小的AI，為何短短幾秒就能設計好一整個房間？

其實，這主要得益于它背后一種強大的新晉機器學習模型：ControlNet。

ControlNet，由斯坦福大學研發，是一種通過添加額外條件，來控制擴散模型的神經網絡。

這個模型，可以將神經網絡塊的不同權重，分別復制到“鎖定”副本（locked copy）和“可訓練”副本（trainable copy）中。

鎖定副本，會保留輸入信息的一些關鍵特征；可訓練副本，則會通過訓練、學習來調節其他特征。然后，這兩部分還會連接起來協同工作。

對于可訓練副本而言，其訓練的方向包括：物體的準確邊緣、語義分割、人體姿勢等等。

簡單來說，就是AI能夠判定，一張圖中各個要素是否可以改變；然后會在原圖某些核心要素不變的前提下生成新的內容，不會導致生成圖和原圖看起來毫無聯系。

另外，這個模型搭配文字“食用”效果更佳——比如剛才我選擇的房間用途和裝修風格，其實就是在給AI添加一點文字提示。

總而言之，基于這樣的原理，ControlNet不僅可以勝任室內設計，還有可以玩出別的花樣。

比如，一鍵涂色：

還有“一鍵換貓”（貓換了，但可愛的歪頭殺不變）：

“一鍵換牛”：

Emmm，那某些游戲皮膚是不是……？

值得一提的是，如果你嫌專門登陸官網（見傳送門）比較麻煩，可以通過API將這個AI應用連到你的本地應用上。

按這種用法，首先需要下載數據庫。

git clone https://github.com/Nutlope/roomGPT

接著去Replicate網站上創建一個帳戶，并獲取 API 密鑰。注意，然后需要把將API 密鑰存儲在 .env 文件中，如 .example.env。

再安裝依賴項：

npm install

然后你就能在命令行中運行該AI了：

npm run dev

開發者簡介

最后，來認識一下此AI的幕后開發者：其實一共就3個人。

其中，最主要的貢獻者Hassan El Mghari，本科畢業于德雷塞爾大學計算機工程系，現在是一名全棧軟件工程師。

除了開發各種應用，這哥們兒還曾創立了一家游戲營銷公司，在Steam上擁有500,000+名用戶。

官網傳送門：
https://www./
Relicatec傳送門：
https:///
參考鏈接：
[1]https://github.com/Nutlope/roomGPT
[2]https://news./item?id=35001046
[3]https://levelup./controlnet-control-your-ai-art-generation-616c86c88964
[4]https://www./about

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態