|
人工智能[1579] 一、Sora的概念介紹 OpenAI發布了“文生視頻”（text-to-video）的大模型工具，Sora（利用自然語言描述，生成視頻）。這個消息一經發出，全球社交主流媒體平臺以及整個世界都再次被OpenAI震撼了。AI視頻的高度一下子被Sora拉高了，要知道Runway Pika等文生視頻工具，都還在突破幾秒內的連貫性，而Sora已經可以直接生成長達60s的一鏡到底視頻，要知道目前Sora還沒有正式發布，就已經能達到這個效果。 Sora這一名稱源于日文“空”（そら sora），即天空之意，以示其無限的創造潛力。 看完這個圖，各位應該就能明白Sora對同類工具的沖擊力有多大了吧。 Sora有別于上述AI視頻模型的優勢在于，既能準確呈現細節，又能理解物體在物理世界中的存在，并生成具有豐富情感的角色，甚至該模型還可以根據提示、靜止圖像甚至填補現有視頻中的缺失幀來生成視頻。 二、Sora的實現路徑 Sora的重要意義在于它再次推動了AIGC在AI驅動內容創作方面的上限。在此之前，ChatGPT等文本類模型已經開始輔助內容創作，包括插圖和畫面的生成，甚至使用虛擬人制作短視頻。而Sora則是一款專注于視頻生成的大模型，通過輸入文本或圖片，以多種方式編輯視頻，包括生成、連接和擴展，屬于多模態大模型的范疇。這類模型在GPT等語言模型的基礎上進行了延伸和拓展。 Sora采用類似于GPT-4對文本令牌進行操作的方式來處理視頻“補丁”。其關鍵創新在于將視頻幀視為補丁序列，類似于語言模型中的單詞令牌，使其能夠有效地管理各種視頻信息。通過結合文本條件生成，Sora能夠根據文本提示生成上下文相關且視覺上連貫的視頻。 在原理上，Sora主要通過三個步驟實現視頻訓練。首先是視頻壓縮網絡，將視頻或圖片降維成緊湊而高效的形式。其次是時空補丁提取，將視圖信息分解成更小的單元，每個單元都包含了視圖中一部分的空間和時間信息，以便Sora在后續步驟中進行有針對性的處理。最后是視頻生成，通過輸入文本或圖片進行解碼加碼，由Transformer模型（即ChatGPT基礎轉換器）決定如何將這些單元轉換或組合，從而形成完整的視頻內容。 總體而言，Sora的出現將進一步推動AI視頻生成和多模態大模型的發展，為內容創作領域帶來了新的可能性。 三、Sora的6大優勢 記者對報告進行梳理，總結出了Sora的六大優勢： （1）準確性和多樣性：Sora可將簡短的文本描述轉化成長達1分鐘的高清視頻。它可以準確地解釋用戶提供的文本輸入，并生成具有各種場景和人物的高質量視頻剪輯。它涵蓋了廣泛的主題，從人物和動物到郁郁蔥蔥的風景、城市場景、花園，甚至是水下的紐約市，可根據用戶的要求提供多樣化的內容。另據Medium，Sora能夠準確解釋長達135個單詞的長提示。 （2）強大的語言理解：OpenAI利用Dall·E模型的recaptioning（重述要點）技術，生成視覺訓練數據的描述性字幕，不僅能提高文本的準確性，還能提升視頻的整體質量。此外，與DALL·E 3類似，OpenAI還利用GPT技術將簡短的用戶提示轉換為更長的詳細轉譯，并將其發送到視頻模型。這使Sora能夠精確地按照用戶提示生成高質量的視頻。 （3）以圖/視頻生成視頻：Sora除了可以將文本轉化為視頻，還能接受其他類型的輸入提示，如已經存在的圖像或視頻。這使Sora能夠執行廣泛的圖像和視頻編輯任務，如創建完美的循環視頻、將靜態圖像轉化為動畫、向前或向后擴展視頻等。OpenAI在報告中展示了基于DALL·E 2和DALL·E 3的圖像生成的demo視頻。這不僅證明了Sora的強大功能，還展示了它在圖像和視頻編輯領域的無限潛力。 （4）視頻擴展功能：由于可接受多樣化的輸入提示，用戶可以根據圖像創建視頻或補充現有視頻。作為基于Transformer的擴散模型，Sora還能沿時間線向前或向后擴展視頻。 （5）優異的設備適配性：Sora具備出色的采樣能力，從寬屏的 1920x1080p 到 豎 屏 的1080x1920，兩者之間的任何視頻尺寸都能輕松應對。這意味著Sora能夠為各種設備生成與其原始縱橫比完美匹配的內容。而在生成高分辨率內容之前，Sora還能以小尺寸迅速創建內容原型。 （6）場景和物體的一致性和連續性：Sora可以生成帶有動態視角變化的視頻，人物和場景元素在三維空間中的移動會顯得更加自然。Sora 能夠很好地處理遮擋問題。現有模型的一個問題是，當物體離開視野時，它們可能無法對其進行追蹤。而通過一次性提供多幀預測，Sora可確保畫面主體即使暫時離開視野也能保持不變。 四、Sora存在的缺點 盡管Sora的功能十分的強大，但其在模擬復雜場景的物理現象、理解特定因果關系、處理空間細節、以及準確描述隨時間變化的事件方面OpenAI Sora都存在一定的問題。 在這個由Sora生成的視頻里我們可以看到，整體的畫面具有高度的連貫性，畫質、細節、光影和色彩等方面表現都非常的出色，但是當我們仔細的觀察的時候會發現，在視頻中人物的腿部會有一些扭曲，且移動的步伐與整體畫面的調性不相符。 在這個視頻里，可以看到狗的數量是越來越多的，盡管在這個過程中銜接的非常流暢，但是它可能已經背離了我們對于這個視頻最初始的需求。 （1）物理交互的不準確模擬： Sora模型在模擬基本物理交互，如玻璃破碎等方面，不夠精確。這可能是因為模型在訓練數據中缺乏足夠的這類物理事件的示例，或者模型無法充分學習和理解這些復雜物理過程的底層原理。 （2）對象狀態變化的不正確： 在模擬如吃食物這類涉及對象狀態顯著變化的交互時，Sora可能無法始終正確反映出變化。這表明模型可能在理解和預測對象狀態變化的動態過程方面存在局限。 （3）長時視頻樣本的不連貫性： 在生成長時間的視頻樣本時，Sora可能會產生不連貫的情節或細節，這可能是由于模型難以在長時間跨度內保持上下文的一致性。 （4）對象的突然出現： 視頻中可能會出現對象的無緣無故出現，這表明模型在空間和時間連續性的理解上還有待提高。 在這里需要引入一個概念“世界模型” 什么是，世界模型？我舉個例子。 你的“記憶”中，知道一杯咖啡的重量。所以當你想拿起一杯咖啡時，大腦準確“預測”了應該用多大的力。于是，杯子被順利拿起來。你都沒意識到。但如果，杯子里碰巧沒有咖啡呢？你就會用很大的力，去拿很輕的杯子。你的手，立刻能感覺到不對。然后，你的“記憶”里會加上一條：杯子也有可能是空的。于是，下次再“預測”，就不會錯了。你做的事情越多，大腦里就會形成越復雜的世界模型，用于更準確地預測這個世界的反應。這就是人類與世界交互的方式：世界模型。 用Sora生成的視頻，并不總是能“咬就會有痕”。它“有時”也會出錯。但這已經很厲害，很可怕了。因為“先記憶，再預測”，這種理解世界的方式，是人類理解世界的方式。這種思維模式就叫做：世界模型。 Sora的技術文檔里有一句話： Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world. 翻譯過來就是： 我們的結果表明，擴展視頻生成模型是向著構建通用物理世界模擬器邁進的有希望的路徑。 意思就是說，OpenAI最終想做的，其實不是一個“文生視頻”的工具，而是一個通用的“物理世界模擬器”。也就是世界模型，為真實世界建模。 五、Sora到底可能產生哪些影響？ 未來，AI自動創作將深刻影響各行業，特別是在處理熱點話題的“時效性覆蓋”方面，AIGC的效率將成為競爭的關鍵。競爭將主要體現在誰能更有效地駕馭AI的能力，尤其是像Sora這樣強大的AI生產工具。未來可能實現“扔一部小說、出一部大片”的情景，Sora已經展示了生成長達1分鐘視頻的能力，包括一鏡到底、多角度切換等多樣化特點。其視頻能夠運用景物、表情和色彩等元素，傳達出各種情感色彩，如孤獨、繁華、呆萌等。 多模態模型的應用也在2024年將達到巔峰，對影視、直播、媒體、廣告、動漫、藝術設計等多個行業產生深遠影響。在當前短視頻時代，Sora已經可以承擔短視頻的攝影、導演和剪輯等任務。未來，Sora生成的多種用途視頻將對短視頻、直播、影視、動漫、廣告等行業產生深遠的影響。 在短視頻創作領域，Sora有望降低短劇制作的綜合成本，解決“重制作而輕創作”的問題。這將使短劇制作的重心回歸高質量劇本內容創作，對創作者的構思能力提出更高要求。為企業降低成本、提高效益，廣告制作公司可以通過Sora生成符合品牌需求的廣告視頻，從而顯著減少拍攝和后期制作成本。游戲和動畫公司也能夠利用Sora直接生成游戲場景和角色動畫，降低3D模型和動畫制作的成本。通過節省下來的成本，企業可以提升產品和服務質量，或進行技術創新，從而推動生產力的進一步提升。 若說2023年是全球AI大模型大爆發的一年，是圖文生成元年，那么2024年將迎來AI視頻生成和多模態大模型的元年。從ChatGPT到Sora，AI正在逐步改變每個個體和每個行業的現實，這也加快了AGI的實現。 我是一位75歲以上的老人！本站主要是些學習體驗與分享(其中會引用一些作品的原話并結合我的一生體會與經驗加工整理而成！在此一并感謝！如有不妥之處敬請與我聯系,我會妥善處理，謝謝！)我寫的主要是中老年人各方面應注意的事兒！退休后我希望通過這個平臺廣交朋友，互助交流，共筑美好生活！！！！！！ 更多文章請參看http://www.趙站長的博客。期待大家的光臨與指教哦^0^！歡迎大家轉發！ |
|
|
來自： 趙站長的博客 > 《人工智能大數據云計算物聯網》
