|
OpenAI: 我們剛剛發(fā)布了GPT-4，這是OpenAI在擴大深度學習方面的最新里程碑。1）GPT-4是一個大型的多模態(tài)模型（接受圖像和文本輸入，發(fā)出文本輸出），雖然在許多現(xiàn)實世界的場景中能力不如人類。2）但GPT-4在各種專業(yè)和學術基準上表現(xiàn)出人類水平的表現(xiàn)。例如它通過了模擬的律師考試，分數(shù)在應試者的前10%；相比之下GPT-3.5的分數(shù)則在后10%左右。我們花了6個月的時間，利用我們對抗學習和來自ChatGPT的經驗反復調整GPT-4，結果在事實性、可引導性以及合規(guī)性取得了有史以來最好的結果（盡管遠非完美）。 在過去的兩年里，我們重建了整個深度學習堆棧，并與Azure一起，為我們的工作負荷從頭開始共同設計了一臺超級計算機。一年前，我們訓練了GPT-3.5作為系統(tǒng)的第一次 '試運行'。我們發(fā)現(xiàn)并修復了一些錯誤，并改進了我們的理論基礎。因此，我們的GPT-4訓練運行（至少對我們來說是如此！）前所未有的穩(wěn)定，成為我們第一個訓練性能能夠提前準確預測的大型模型。隨著我們繼續(xù)專注于可靠的擴展，我們的目標是磨練我們的方法，以幫助我們越來越提前地預測和準備未來的能力--我們認為這對安全至關重要。 我們正在通過ChatGPT和API發(fā)布GPT-4的文本輸入功能。為了準備更廣泛地提供圖像輸入功能，我們正在與一個合作伙伴緊密合作，以開始。我們還在開源OpenAI Evals，這是我們自動評估人工智能模型性能的框架，允許任何人報告我們模型中的缺點，以幫助指導進一步的改進。 GPT4與上一代GPT3.5在不同考試中的分數(shù)對比  展望-圖像輸入：GPT-4可以接受文本和圖像的提示，這與純文本平行，讓用戶指定任何視覺或語言任務。具體來說，它可以生成文本輸出（自然語言、代碼等），給定的輸入包括穿插的文本和圖像。在一系列的領域中，包括帶有文字和照片的文件、圖表或屏幕截圖，GPT-4表現(xiàn)出與純文本輸入類似的能力。此外，它還可以使用為純文本語言模型開發(fā)的測試時間技術，包括少數(shù)幾個鏡頭和思維鏈提示。目前圖像輸入仍然是沒有公開提供的一個研究方向。 AI的可引導性：我們一直在努力實現(xiàn)我們在定義人工智能行為的文章中概述的計劃的各個方面，包括可引導性。與經典的ChatGPT個性的固定言語、語氣和風格不同，開發(fā)者（以及很快ChatGPT用戶）現(xiàn)在可以通過在 '系統(tǒng) '消息中描述這些方向來規(guī)定他們的AI的風格和任務。系統(tǒng)消息允許API用戶在范圍內大幅定制他們的用戶體驗。我們將繼續(xù)在這里進行改進，但我們鼓勵你嘗試并讓我們知道你的想法。 GPT4的局限性：盡管有這樣的能力，GPT-4也有與早期GPT模型類似的局限性。最重要的是，它仍然不是完全可靠的（它對事實產生 '幻覺'，并出現(xiàn)推理錯誤）。在使用語言模型的輸出時，特別是在高風險的情況下，應該非常小心，準確的協(xié)議（如人類審查，用額外的背景接地，或完全避免高風險的使用）與特定的使用案例的需求相匹配。雖然仍然是一個真實的問題，但相對于以前的模型（這些模型本身也在不斷改進），GPT-4大大減少了幻覺。在我們的內部對抗性事實性評估中，GPT-4的得分比我們最新的GPT-3.5高40%。  TruthfulQA等外部評測：該基準測試了模型從對抗性選擇的不正確陳述中分離事實的能力。這些問題與在統(tǒng)計學上具有吸引力的事實錯誤答案配對。GPT-4基礎模型在這項任務上只比GPT-3.5略勝一籌；然而在RLHF后訓練（應用我們對GPT-3.5使用的相同過程）之后，存在很大差距。 他的模型在輸出時可能會有各種偏差--我們在這些方面已經取得了進展，但仍有更多工作要做。根據(jù)我們最近的博文，我們的目標是使我們建立的人工智能系統(tǒng)具有合理的默認行為，以反映廣泛的用戶價值觀，允許這些系統(tǒng)在廣泛的范圍內進行定制，并獲得公眾對這些范圍的意見。 GPT-4通常缺乏對其絕大部分數(shù)據(jù)截止后（2021年9月）發(fā)生的事件的了解，也不會從其經驗中學習。它有時會犯一些簡單的推理錯誤，這似乎與這么多領域的能力不相符，或者過于輕信用戶的明顯虛假陳述。有時它也會像人類一樣在困難的問題上失敗，例如在它產生的代碼中引入安全漏洞。 GPT-4也可能在預測中自信地犯錯，在它可能犯錯的時候不注意反復檢查工作。有趣的是，基礎的預訓練模型是高度校準的（它對答案的預測信心一般與正確的概率相匹配）。然而，通過我們目前的后訓練過程，校準程度降低了。 總的來說，我們的模型級干預措施增加了誘發(fā)不良行為的難度，但這樣做仍然是可能的。此外，仍然存在 '越獄 '的情況，以產生違反我們使用指南的內容。隨著人工智能系統(tǒng)的 '每個令牌的風險 '的增加，在這些干預措施中實現(xiàn)極高的可靠性將變得至關重要；目前，重要的是用部署時間的安全技術來補充這些限制，如監(jiān)測濫用。 GPT-4和后續(xù)模型有可能以有益和有害的方式大大影響社會。我們正在與外部研究人員合作，以改善我們對潛在影響的理解和評估，以及建立對未來系統(tǒng)中可能出現(xiàn)的危險能力的評估。我們將很快分享我們對GPT-4和其他人工智能系統(tǒng)的潛在社會和經濟影響的更多思考。 API和費用：要獲得GPT-4 API（請在我們的等待名單上注冊。我們將從今天開始邀請一些開發(fā)者，并逐步擴大規(guī)模，以平衡容量與需求。如果你是研究人工智能的社會影響或人工智能對接問題的研究人員，你也可以通過我們的研究人員訪問計劃申請補貼的訪問。一旦你有了訪問權，你就可以向gpt-4模型提出純文本請求（圖像輸入仍處于有限的測試階段），隨著時間的推移，我們會自動更新到我們推薦的穩(wěn)定模型（你可以通過調用gpt-4-0314來鎖定當前版本，我們將支持到6月14日）。定價為每1000 promt token0.03美元，每1000 completion token0.06美元。默認的速率限制是每分鐘40k代幣和每分鐘200個請求。 GPT-4的上下文長度限制為8,192個token。我們還提供支持32,768個token（約50頁文本）版本的有限訪問，gpt-4-32k，它也將隨著時間的推移自動更新（當前版本gpt-4-32k-0314，也支持到6月14日）。價格是每1000 prompt token0.06美元，每1000 completion tokens.0.12美元。我們仍在改進長上下文的模型質量，并希望得到關于它在你的使用案例中的表現(xiàn)的反饋。我們正在根據(jù)容量以不同的速度處理對8K和32K引擎的請求。 投資建議：我們認為隨著GPT4的重磅發(fā)布，相關多模態(tài)大模型的垂直領域應用或將進一步得到開發(fā)，多模態(tài)大模型相關的應用場景將伴隨大模型能力的提升和成本降低逐步普及，美股建議關注：【微軟】（Office目前擁有接近4億的用戶，收購OpenAI后Office ARPU提升與Azure云相關業(yè)務有望貢獻增量收入）、【英偉達、臺積電】等半導體公司（搜索和相關AIGC內容創(chuàng)作對GPU相關資本開支的拉動將提升半導體行業(yè)收入與業(yè)績）。 我們推薦關注多模態(tài)大模型的應用場景如： 1）客服聊天機器人：技術加成下提升大數(shù)據(jù)分析和互動能力，多模態(tài)應用對多種內容形式快速反應，海外建議關注【谷歌】【SNAP】【Twilio】，國內建議關注【神州泰岳】【焦點科技】【宏景科技】【神州數(shù)碼】 2）信息搜索與內容檢索：信息檢索效率大幅提升，檢索范圍覆蓋面更廣，海外建議關注【微軟】【ShiftPixy】，國內建議關注【三六零】【昆侖萬維】 3）商品與內容推薦：海外建議關注【Jasper】【Shopify】，國內建議關注【順網科技】【藍色光標】【三人行】【值得買】【浙文互聯(lián)】【中文在線】 4）虛擬數(shù)字人：虛擬人垂類應用場景有望拓寬，海外建議關注【微美全息】【Unity】，國內建議關注【芒果超媒】【湯姆貓】【藍色光標】【中文在線】【風語筑】【捷成股份】【奧飛娛樂】【遙望科技】 5）教育：推動個性化、差異化教育發(fā)展，海外建議關注【Quizlet】【Speak】【Coursera】【Duolingual】，國內建議關注【科大訊飛】【漢王科技】【傳智教育】 6）游戲設計：驅動原畫設計、社交玩法創(chuàng)新，海外建議關注【Unity】【Roblox】，國內建議關注【網易】【完美世界】 ChatGPT每日產業(yè)新聞點評
GPT-4是OpenAI在擴大深度學習方面的最新里程碑。1）GPT-4是一個大型的多模態(tài)模型（接受圖像和文本輸入，發(fā)出文本輸出），雖然在許多現(xiàn)實世界的場景中能力不如人類。2）但GPT-4在各種專業(yè)和學術基準上表現(xiàn)出人類水平的表現(xiàn)。GPT-4在事實性、可引導性以及合規(guī)性取得了有史以來最好的結果，并成為OpenAI第一個能夠提前準確預測訓練的大模型。此外谷歌公司今日宣布開放其 PaLM API，讓開發(fā)者能夠使用其最先進的 AI 語言模型之一：PaLM。該公司還推出了一些人工智能企業(yè)工具，稱將幫助企業(yè)“通過簡單的自然語言提示生成文本、圖像、代碼、視頻、音頻等多種內容”。
微軟多模態(tài)大模型GPT-4或將在本周發(fā)布，微軟德國首席技術官 Andreas Braun 在線下活動中表示多模態(tài)大模型GPT-4 即將在本周發(fā)布，將提供完全不同的可能性并且適用于所有語言，而微軟在過去一周左右接連發(fā)布了展示多模態(tài)的語言大模型論文 Kosmos-1 和 Visual ChatGPT，此前微軟一直在測試和調整來自 OpenAI 的多模態(tài)模型，而國內AI巨頭百度也計劃于3月16日14時發(fā)布類ChatGPT產品文心一言，相關多模態(tài)大模型的垂直領域應用或將進一步得到開發(fā)。正如我們GPT4展望報告中提及的GPT4十大猜想，GPT4未來可能會是多模態(tài)的具有思維鏈推理能力的大模型，標志著AI的智能涌現(xiàn)速度超越Scaling Law的提升速度，生成式AI時代全要素生產率或可以重新加速上升。
微軟 Windows 系統(tǒng)和硬件總負責人Panos Panay在CES 2023曾說過：“AI 將徹底改變你在 Windows 上做任何事情的方式”，并透露微軟正打造模糊云端和邊緣界限、集成大量AI技術的全新操作系統(tǒng)。3月7日微軟宣布Windows 11 將加入更多人工智能體驗，如1）AI視頻通話：眼神接觸（Eye Contact）、背景效果（Background Blur）、自動取景（Automatic Framing）和語音焦點（Voice Focus）等功能將增強用戶體驗；2）語音訪問應用：用戶在 Windows 11 上 中處理 Word 文檔、在文件資源管理器中管理文件等；3）開始菜單提供人工智能驅動的推薦內容來個性化用戶的體驗。我們預計微軟或將聯(lián)合OpenAI的大語言模型更新現(xiàn)有的操作系統(tǒng)功能體驗如文件搜索、郵件、助手等，而網傳2024年發(fā)布的全新一代Windows或將圍繞AI和大預言模型展開新一代操作系統(tǒng)的交互革命。
宏圖3發(fā)布會上首次提及Dojo已開始訓練LLM，此前馬斯克在推特上宣布開始招攬前DeepMind員工成立Based AI實驗室，開發(fā)OpenAI聊天機器人ChatGPT替代品事宜。我們認為特斯拉在 real-world AI（自動駕駛、Tesla Bot）方向的領先程度毋庸置疑，開發(fā)ChatGPT相關替代品可能與推特有關。我們認為其他科技互聯(lián)網大廠如谷歌、Meta、蘋果將持續(xù)在此領域投入并追求ChatGPT產品能力的復現(xiàn)，相關競品的發(fā)布時間或將提前。
2023年3月2日，OpenAI宣布開放ChatGPT API，且價格僅為上一代版本1/10，意味著ChatGPT將可以賦能千行百業(yè)。Snap、Shopify公司已經接入。我們認為AIGC的核心定律在于1）每年深度學習成本降低60%，模型能力提升40%以上2）新技術遵循巴斯模型的S曲線快速滲透。新一代生成式AI革命將迅速推動產業(yè)快速增長，關注應用場景！ ChatGPT相關事件時間軸
GPT4 十大猜想 1）GPT4.0未來可能會是多模態(tài)的具有思維鏈推理能力的大模型，標志著AI的智能涌現(xiàn)速度超越Scaling Law的提升速度。PC是人類思維的“自行車”（Steve Jobs），而生成式AI可能會是人類思維的“Copilot/大副”。全要素生產率在PC時代飛速增長，在互聯(lián)網普及后（2005-2022）增長緩慢，生成式AI時代全要素生產率或可以重新加速上升。 2）生成式AI時代的技術基礎不僅是深度學習的基礎模型/大模型（Foundation Model），也或許會包括神經計算科學與符號推理的更多貢獻。 3）大模型/并行計算最重要的應用應該包括AGI通用人工智能（OpenAI） 、合成生物學（AlphaFold） 、可控核聚變（DeepMind） 、科學計算與模擬仿真（NVidia，需要并行計算，但也將大模型加速）。經典的經濟增長模型（索洛模型）盡管預設了勞動力和資本在經濟增長中可以互相取代，但是也假設了勞動力按照實物生產力付酬與勞動力按照人口增長模型限制。如果AGI的勞動力出現(xiàn)，經濟增長的假設或可更新。 4）算力重要的將是軟件棧上的硬件優(yōu)化，模型重要的將是數(shù)據(jù)集上的算法工程優(yōu)化，應用重要的是數(shù)據(jù)采集應用開發(fā)。算力公司的新機會在于怎么在Z級別的算力上實現(xiàn)規(guī)模拓展（Scaling Out）和摒棄傳統(tǒng)核內存共享，以及云邊計算；模型公司壁壘在于Domain Specific的數(shù)據(jù)；應用壁壘在于傳感器（軟件傳感器的App、場景或者硬件傳感器）。更為重要的依然是算力網絡-基礎模型-應用-數(shù)據(jù)的“飛輪”。但我們認為與云計算時代的解耦相反，生成式AI時代的經濟效應的“飛輪”是高度耦合的，因為云計算關鍵在于彈性和可伸縮可拓展性帶來的成本優(yōu)化，而AI關鍵在于效能提高到某個閾值之后的應用價值急速上升。而數(shù)據(jù)棧可能從data source和activation tool向數(shù)倉逐漸創(chuàng)新。 5）生成式AI改變微觀經濟學假設：我們認為軟件行業(yè)、互聯(lián)網行業(yè)、開源、生成式AI均為對傳統(tǒng)微觀經濟學的挑戰(zhàn)。軟件意味著非個性化產品的邊際生產成本接近于0（但產品定制化和營銷成本高），互聯(lián)網意味著產品的邊際分發(fā)與營銷費用接近于0（直到流量紅利結束和獲客成本上升），開源意味著產品本身的價格為0（但部署和開發(fā)有成本），生成式AI意味著產品的個性/定制化生產邊際成本接近于0。波特三戰(zhàn)略包括成本領先、差異化、聚焦。差異化產品在生成式AI時代將不再具有競爭壁壘，但差異化數(shù)據(jù)將可能具有很高價值。 6）生成式AI改變軟件與互聯(lián)網的結構，Marc Andreessen著名的論斷為軟件吞食世界。我們認為互聯(lián)網/開源已改變軟件（SaaS），SaaS的本質是抽象出的最佳實踐與最解耦拓展的結合，而AI可能會以1、改變最佳實踐 2、改變定制化開發(fā) 3、改變工作流 4、改變開源測試 重構SaaS。AI改變互聯(lián)網則在于全新的交互與更強的粘性，上一代推薦/搜索算法主要承擔大規(guī)模的結構化embedding，把人歸結為特征統(tǒng)一，而相對較難生成對個體的深層次理解。因此新的更深的大模型下，不再是統(tǒng)一的超文本跨平臺一致地供給現(xiàn)存的個性化內容，而是個性化的交互產生個性化的全新內容產品。 7）AI生成產品會比AI生成內容大很多倍。多模態(tài)大模型將可能讓深度學習對個體的多層次理解成為可能，生成式AI讓“AI生成設計”到“AI生成產品”成為可能，這個市場會比 “AI生成內容”大很多倍，真正的釋放個體個性化需求與創(chuàng)意的商品將對仿真，柔性生產和柔性供應鏈提出全新的要求。 8）創(chuàng)作者經濟。克雷創(chuàng)造了超算，Linus創(chuàng)造了Linux，亨特創(chuàng)造了Kenshi。在生成式AI的輔助下，個人有望創(chuàng)造真正出色的軟件、游戲、產品。 9）基礎模型的人類對齊（Human Alignment）。 10）用更好的數(shù)學語言描繪大模型的“涌現(xiàn)”的能力。無論涌現(xiàn)的能力來自流形上的概率分布，還是范疇論中把梯度遞降和自動微分實現(xiàn)為函子。對于基礎模型的深刻理解與控制的要求我們必須能夠在超級AI之前的生成式AI的黑箱之wa內用更先進的數(shù)學語言去推導與描述，如果蒸汽機沒有牛頓力學熱力學與微積分，如果曼哈頓工程沒有狹義相對論，都只會是經驗的不可控工程。大衛(wèi)希爾伯特曾說“我們必須知道，必將知道”，我們認為用在深度學習的大模型上有一定的恰當之處。即我們必須深刻理解大模型的數(shù)學語言而非僅僅當作黑箱應用。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
