370/606 本文約3100字 預計閱讀時間11分鐘 我最近發現一個超棒的AI工具,居然可以生成如《天龍八部》一樣帶有分鏡頭并結合時間線的故事情節視頻。一改往日AI視頻工具只能生成幾秒鐘,然后需要通過視頻剪輯工具后期拼接的繁瑣方式。這款工具呢,居然直接把分鏡頭視頻生成,故事人物設定并保持一致性,對口型,視頻拼接,音頻添加全部打包在一起了,一站式解決并導出成片。到底是什么工具這么好用呢?這就是字節推出的即夢Dreamina的新功能——故事創作。風景的生成無可挑剔,比劍動作還不夠自然,還有改進空間。當設定了主人公之后,基本上多次生成視頻都能夠保持一致,比如我在視頻中設定了帥氣的段譽形象,一襲青衫,幾次生成都明顯看出來是同一個人,沒錯!當然了,要完全做出以上這個視頻,還需要結合下其他幾個AI工具做些輔助,比如開頭的“天龍八部”四個字我就用了通義萬相的藝術字生成,分鏡頭腳本文案的生成我借助了Kimi,而音頻和對話配音則用到了天工音樂。再通過即夢整合到一起,非常棒有木有(*^▽^*)。 雖然我目前感覺即夢生成的視頻效果還不算最牛的,但是這種產品整合的思路實在是太贊了,之前我也介紹過即夢的“智能畫布”功能,也是創新地通過多圖層的操作革新了圖像生成的方式。具體可見文章:推薦一款AI賦能的生圖類PS工具,助力畫師擁抱未來新機遇。不得不說,字節的產品團隊非常牛,真是太在乎圖片、視頻剪輯玩家們的痛點了。 好了,廢話不多說,接下來我就來把這個視頻的具體制作方式跟大家一步步拆解一遍。請搬好小板凳,開始認真聽講~~
1.首先登錄即夢平臺,在“AI視頻”塊下找到最新出的“故事創作”按鈕。如果你還沒有注冊的話,訪問網址之后,直接右上角注冊即可,立即生效不用等待審核,而且每天有88積分贈送。剛好夠我生成這個視頻。2.進入“故事創作”后呢,看到出現一個畫布,還有下方的兩個按鈕,其中:(1)批量導入分鏡,前提你已經做好了分鏡圖片,可以本地上傳,或從即夢平臺你個人的資產庫中選擇,適合你之前已經做好了圖片,導入到這里來進行圖生視頻創作。(2)創建空白分鏡,適合你啥構思還沒有的情況,進入直接之后通過文本或參考圖片來生成。這里我選擇了這種方式。 3.進入“空白分鏡”后,下方出現分鏡文字輸入框。意思就是讓我們輸入文字。4.怎么寫分鏡語言呢?我也不太會呀,這里我可以借用下其他牛批的AI對話工具。這里我選取了KimiChat。所以我問它如下問題:你是優秀的電影劇本編劇,請幫我把《天龍八部》中的第一章:青衫磊落險峰行,改編成一個分鏡頭腳本,要求生動,符合原著。 為了確保情節能夠符合,我還上傳了本《天龍八部》的原著:5.之所以選取第一章,是因為現在Kimi還是輸入長度不夠啊,像天龍八部一共有150萬字,但是它只成功讀取了12%。所以后面的情節它也沒get到,罷了,先不管這些。不過kimi的回答還行,可以作為腳本輸入: 6.然后我把第一個鏡頭:無量山的腳本輸入到即夢中,如下所示,然后選擇“做視頻”,并可選配運鏡控制、運動速度、模式選擇:標準模式(注意:如果你想體現速度快的場景,比如武打、汽車行駛,可以選擇流暢模型)、生成時長選擇6s,點擊生成視頻,消耗6個積分。等待片刻就生成好了6s的鏡頭1。7.接下來我可以選擇“創建空白分鏡”繼續把剩下的鏡頭腳本也加進來。 8.生成好的短視頻,你可以點擊右邊的“分鏡素材”圖標進行預覽,要是不滿意還可以重新編輯,生成一個新的:9.多提一嘴,這個運鏡控制,可以控制移動方向、搖鏡頭方向、旋轉方向、變焦和鏡頭運動幅度,可以做出大師運鏡的效果來,比如鏡頭3我就小試牛刀了一下這個功能。 10.接下來我們嘗試下先做圖片,再做視頻,這個功能有個好處,你可以先生成一個出演角色,后面可以選這個角色來生成不同分鏡下的視頻內容,我們先點擊“圖片生成”,在“出演角色”那里選擇“點擊設置”。 11.比如我先設定“段譽”的形象,可以導入一張生成好的圖片,也可以在這里輸入文字生成,這里我選擇了后者。然后看到“白色背景”和“正視圖”是平臺固定加上的,不可刪除。后面接上你對人物的描述就可以了,這里我直接把原著中對段譽剛出場的描寫粘貼了過來。只消耗1分,得到4個待選圖片,我選擇了如下這種作為定妝照。12.然后可以設定圖片生成的提示詞,選定好出演角色,可選導入參考圖,將會以圖中的參考作為背景。其他如臉部參考強度、主體參考強度默認即可,精細度調高點OK的。生圖模型目前固定不可改。然后消耗2分可生成4個圖片。 13.選擇一張你覺得好的圖片,可以繼續“圖轉視頻”。 14.后面還生成其他分鏡的時候,可以繼續選之前段譽這個角色,這樣就可以保證人物一致性了。15.還可以再創建一個人物,目前看2個,3個都是OK的,這里我創建下《天龍八部》里第一話里出場的女角-鐘靈。 然后生成她剛出場時玩著毒蛇的場景。不過我發現,一次只能選擇一個角色,也就是說,不能讓多個角色同框,算是小小遺憾吧,希望下一個版本可以升級。16.我已經注意到了下方有個“添加音頻”的按鈕,不過只能添加本地音頻。所以我現在還缺個音頻。怎么辦呢?繼續生成呀。之前我介紹過一個好用的AI音樂生成工具-天工音樂,具體使用教程見文章:AI音樂新突破:天工音樂國產神器,免費無限制使用!那么我們進入天工的AI音樂生成: 17.然后輸入歌名,歌詞,注意歌詞就是唱的內容,再選個參考音頻,這里我之所以選擇了電視劇《笑傲江湖》的主題曲滄海一聲笑,主要是因為它既是金庸系的歌,也好聽,后面還有rap說話的部分(改編版),我希望ai可以理解,把我打引號的部分理解為對話,直接說,不用唱腔。然后就得到了這段音頻,導出后是個MP4。18.MP4是視頻,不能直接導入到即夢中,否則會蓋住生成的視頻,這里我用了下軟件-格式工廠,將視頻轉成了音頻。 20. 我可以在右下角的“時間線”和“非時間線”進行切換,更方便進行音頻的移動,分割操作。21. 比如我在時間線模式下,發現有一段對話太長,而視頻不夠,那我就在視頻下右鍵選“復制”。23. 文字風格選擇“場景融合”,自定義描述場景,選擇圖片背景是帶背景的“生成背景”,再點擊“生成創意藝術字”。得到4張圖片,都不錯,我選擇了第三張,把這張圖片下載下來:24. 然后我再回到即夢,點擊最下面一排的“選擇素材”上傳。25. 上傳之后,并沒有增加新的視頻軌道,看來只支持單軌,目前看來夠用,添加到了片頭。然后可以把這張圖片“圖轉視頻”,得到了開頭的效果。26. 即夢AI會員有幾個獨有功能,包括:視頻延長、對口型、視頻補幀、視頻超清。27. 那么我選中一個分鏡,然后選擇“對口型”,再輸入文本朗讀文字,設定朗讀速度,選一個音色,再點擊“對口型”進行視頻重新生成。對完口型之后,就是開頭視頻第43秒的效果,提升得非常明顯。
|