久久精品精选,精品九九视频,www久久只有这里有精品,亚洲熟女乱色综合一区
    分享

    沒人能復制Chat-GPT

     百年張裕88 2023-02-14 發(fā)布于廣東

    圖片

    Chat-GPT背后的明星企業(yè)OpenAI,始于幾個硅谷極客想要“拯救人類”的瘋狂念頭。

    2014年,特斯拉正在為產(chǎn)能問題焦頭爛額,來中國求援的馬斯克順便做客央視《對話》欄目,遭到楊元慶靈魂拷問:2013年聯(lián)想一共賣出了1.15億臺設(shè)備,特斯拉賣了幾輛車?

    同一時期的美國,“AI取代人類”成為了硅谷new money的關(guān)鍵詞,這讓結(jié)過3次婚、生過10個孩子的馬斯克深感不安。谷歌創(chuàng)始人拉里·佩奇就曾批評馬斯克是一個“物種主義者”,不愿用“硅”創(chuàng)造新物種。

    2015年夏天,馬斯克找到了他的知音——薩姆·阿爾特曼

    圖片
    阿爾特曼與馬斯克

    這位名字也能翻譯成“奧特曼”的帥哥,是創(chuàng)業(yè)孵化器Y Combinator的新任掌門,也是一個標準的科技狂,擁有兩家核聚變企業(yè)和一家區(qū)塊鏈公司。

    2009年,YC創(chuàng)始人曾在博客上分享了過去30年最有趣的5位創(chuàng)始人,24歲的阿爾特曼與喬布斯、谷歌創(chuàng)始人、賽普拉斯半導體CEO和Gmail之父并列。

    在一次私人聚會上,兩位明星企業(yè)家宣布掏出10億美元,籌備一家非盈利導向的AI實驗室OpenAI,“讓人類以更接近于安全的方式構(gòu)建真正的AI”。

    在Chat-GPT橫空出世之前,絕大多數(shù)人都不知道這家站在人類智商密度高地上的公司都做了些什么,到底花掉了多少錢。

    這是一段用美元堆出來的理想主義故事。

    信仰:AGI神教

    OpenAI誕生的那場聚會上,馬斯克幾乎沒有招到人。現(xiàn)場所有人都在追問一個問題:此時谷歌、Facebook、百度早已把世界上最頂尖的AI學者搜刮殆盡,你碰什么瓷呢?

    這群野心家不肯死心,向蒙特利爾大學一位教授要來了一份10人挖角名單,上面寫著圈內(nèi)最有前途的年輕AI研究員。這其中最為重要的挖角對象,是一個名叫伊利亞·薩特斯基弗的俄羅斯人。

    小薩是AI研究宗師杰夫·辛頓的學生。2012年,辛頓帶著27歲的小薩和另一個學生發(fā)明了一個AI模型,該模型識別圖像的準確率高得嚇人,在學術(shù)界引起了轟動,也直接奠定了小薩產(chǎn)業(yè)泰斗的歷史地位。

    這也讓谷歌等企業(yè)迅速意識到:AI終于有搞頭了,直接把小薩挖走了。


    OpenAI給這10人挨個打電話,所有人都表示,除非別的人都答應才入伙。為了搞定小薩一行人,OpenAI將他們騙去了當?shù)氐囊粋€葡萄酒之鄉(xiāng),好生伺候了一天。最終,9個人上了“賊船”。

    圖片
    薩特斯基弗(左)與老師杰夫·辛頓(右)

    可就在馬斯克與阿爾特曼準備召開新聞發(fā)布會時,小薩卻反悔了。

    為了留住小薩,谷歌先給小薩的薪資翻了一番,數(shù)字是OpenAI的兩到三倍,但對方不為所動。隨后,谷歌采取了另一條策略:加更多的錢

    此時的OpenAI急得像熱鍋上的螞蟻,但考慮到自身囊中羞澀,只能天天發(fā)短信求小薩談理想。直到阿爾特曼召開新聞發(fā)布會的那一天,小薩才決定加入OpenAI,從谷歌的心腹變成了心腹大患。

    小薩的決定其實出于一個有些難以啟齒的“理想”:他想實現(xiàn)AGI(通用人工智能

    所謂AGI,即“超級智能”,接近科幻電影中萬能的人工智能;與之形成對比的是人臉識別、翻譯、下圍棋等只能完成單一任務的人工智能。

    即便2012年,杰夫·辛頓和小薩的論文讓AGI的可行性跨出了一大步,但以當代的科研基礎(chǔ),談論AGI,依舊就像談論如何長生不老一樣民科

    科學家all in AGI,賭贏,可以在教科書里與比肩牛頓;賭輸,成為美版知乎Quaro的民科代表。

    但企業(yè)all in AGI,大概只有一個結(jié)局——成為先烈。龐大的資本支出,讓無論是相信“專家算法”的IBM,還是“深度學習”神教的谷歌、百度,無論信奉何種AI路線,巨頭們的一切AI研究,都為產(chǎn)業(yè)化服務。

    愿意成為這個冤大頭的,只有OpenAI一家。

    阿爾特曼將OpenAI打造成了一個象牙塔:在實驗室成立的前15個月,OpenAI都沒一個明確的研究目標。平日里,馬斯克便帶著這群夢想家一起腦暴,探討AGI將如何實現(xiàn)。

    2016年5月,時任谷歌首席AI研究員曾參觀過OpenAI,對其工作方式相當困惑。他詢問OpenAI的目標是什么,沒想到難倒了OpenAI,“我們現(xiàn)在的目標,就是....做點好事[3]。”

    然而在數(shù)月之后,這位研究員卻毅然辭職加入了OpenAI——一起做點好事。

    畢竟在當時的硅谷,“放肆做夢”是個極其稀缺的特質(zhì)。哪怕是AGI曾經(jīng)的布道者DeepMind,在被谷歌收購后也更實際了些。產(chǎn)業(yè)界與學術(shù)界的差異,促使了大批科學家的“叛逃”:

    從2017年開始,吳恩達、李飛飛等著名AI學者先后回歸大學校園。

    此般大環(huán)境下,高舉理想主義大旗的OpenAI,成功抄到了歷史的大底,拉攏了不少頂尖人才。

    2017年3月,隨著團隊越來越龐大,阿爾特曼決定給OpenAI設(shè)立一個更具體的目標,這時,等待他們的是一個好消息與一個壞消息。

    接盤:讀作理想,寫作美元

    2017年是OpenAI命運的分水嶺。

    好消息是,谷歌幫OpenAI解決了沒有具體目標的困擾。2017年,谷歌在一篇論文中開源了“Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)”。它的革命性在于可以讓AI“聽懂人話”,而這很可能會是通往AGI的關(guān)鍵鑰匙。

    一直在做好事的OpenAI,瞬間有了攻堅的方向。

    圖片
    一篇改變了世界線的論文

    壞消息則是,沒錢攻堅了。

    一個知識是,如果沒一個出手闊綽靠山,根本沒資格搞AI光算力——也就是芯片的開銷,就是一筆巨額成本。從2012年的AlexNet模型到2017年的AlphaGoZero,算力消耗足足翻了30萬倍。同期英偉達股價翻了整整15倍,黃仁勛做夢笑醒好幾回。

    早些年,一大批科學家紛紛跳槽去硅谷巨頭,就是為了找靠山。2010年,還在斯坦福的吳恩達研究出一套新算法,卻發(fā)現(xiàn)大學的算力條件遠遠不夠。他從美國東海岸找到西海岸,發(fā)現(xiàn)只有谷歌符合條件。

    圖片

    2017年,Transformer橫空出世后,AI進入大模型階段。所謂大模型,背后支撐的是大算力、大數(shù)據(jù)以及大算法,而這也意味著燒大錢。

    以O(shè)penAI的GPT-3模型為例,有機構(gòu)做過測算,發(fā)現(xiàn)訓練一個GPT-3,需要至少1024張A100顯卡持續(xù)運轉(zhuǎn)足足一個月[7]。而A100顯卡最便宜的版本也要8769美元。

    也就是說,什么還沒算,就先給英偉達交了900萬美元入場費,這還沒算搭建機房的成本和后續(xù)源源不斷的電費。

    如今,ChatGPT訓練一次的成本高達1千萬美元,這是一般企業(yè)無法承受的。小冰公司CEO李笛算過一筆賬:“如果按照ChatGPT成本來考量的話,每天我要燒3億人民幣,一年要燒一千多億。”

    回到2017年,仍是非盈利機構(gòu)的OpenAI,根本無力負擔這些費用。原本的大靠山馬斯克也在2018年初宣布辭職,原因是避免與特斯拉AI業(yè)務有所沖突。

    風雨飄搖之際,阿爾特曼悄悄修改了OpenAI“非盈利”的使命,開始給OpenAI另謀靠山。

    此時,既無科研成果,又無大牛坐鎮(zhèn)的微軟,進入了阿爾特曼的視野。

    作為美國高科技領(lǐng)域老牌列強,微軟在AI上的決心不可謂不強,但長期被谷歌的DeepMind來回摩擦。

    2019年,恨鐵不成鋼的微軟遇見人才濟濟的OpenAI。當時比爾·蓋茨本人并不相信OpenAI會成功——投資談判中,他很直白地對其發(fā)展路線表達了悲觀,認為Transformer這類大語言模型在過去五年都沒什么進展,沒人知道它會有什么價值。

    但話雖如此,微軟還是爽快的掏出了10億美元。

    圖片
    阿爾特曼與微軟CEO納德拉

    這次接盤,很可能會成為微軟歷史上最成功的一筆抄底。

    2022年12月,OpenAI沿著Transformer路線開發(fā)出了最新款AI,名為Chat-GPT。2個月后,Chat-GPT的全球月活突破了1億。

    這回,該輪到谷歌睡不著覺了。


    突圍:難以復刻的奢侈品

    Chat-GPT登上熱搜之后,公眾常常會討論一個問題:為什么又在美國?

    事實上,復刻一個Chat-GPT并非難事。Chat-GPT的本質(zhì),其實以GPT-3模型為框架,通過“對話”這一場景,搭建了一個普通用戶也能使用的AI應用,兩者之間的技術(shù)進步并不算大。

    如果翻一翻前兩年的新聞能發(fā)現(xiàn),早在GPT-3時代,中國公司已經(jīng)在如法炮制,大可不必對各種中國版Chat-GPT冷嘲熱諷。在純粹的技術(shù)層面,中國企業(yè)落后的并不太多。

    我們回到一開始,大模型發(fā)展的三要素:算法、算力、數(shù)據(jù)。

    算法,如同人類大腦,決定了AI的學習能力。

    一個業(yè)內(nèi)主流觀點是,盡管沒有率先做出來Transformer、GPT-3,但國內(nèi)企業(yè)在大模型上的技術(shù),距離ChatGPT的差距其實也僅在半年到兩年之間。

    比如GPT-3發(fā)布之后,百度、騰訊、阿里等企業(yè)諸如一言、M6、混元等十萬億參數(shù)級別的大模型也很快跟進。

    算力,這意味著一種資源,決定了算法的運行效率。

    AI訓練高度依賴英偉達A100、H100等AI專用顯卡。常見的消費級顯卡通常會將部分算力讓渡于光追等功能,相比之下,A100的特點則是從硬件設(shè)計到軟件配套 all in AI。

    盡管從2022年開始,美國已經(jīng)限制英偉達向中國大陸銷售A100/H100顯卡,但很快英偉達也推出了A800,成為中國特供版A100平替。

    數(shù)據(jù),訓練算法的優(yōu)質(zhì)教材,決定了AI會學到哪些知識

    站在OpenAI背后的,是一座數(shù)據(jù)富礦,即豐富的高質(zhì)量英文文本數(shù)據(jù)。例如在全球最大的百科網(wǎng)站維基百科上,擁有最多百科文章的語言正是英文。

    除此之外,英文互聯(lián)網(wǎng)還有眾多類似Github這樣的專業(yè)論壇、海量的圖書、學術(shù)論文、專業(yè)新聞等數(shù)據(jù)。盡管,中文互聯(lián)網(wǎng)的文本質(zhì)量有待提升,但數(shù)據(jù)總量卻是碾壓級別的優(yōu)勢。

    無論是算法的調(diào)教,還是算力的堆積,本質(zhì)都是砸錢砸人。在這方面,中國其實并不落后于美國。正如百米賽跑中,冠軍和亞軍的差距往往不到一秒鐘。

    然而不到一秒鐘的差距,卻決定了鮮花與掌聲的歸屬,這可能也是Chat-GPT和“中國版Chat-GPT”的差別。

    OpenAI的誕生似乎離不開無數(shù)偶然的堆積,但也有著同樣多的必然。“造福人類”的AGI神教,聚集了世界上最有才華的青年AI學者;適時出現(xiàn)的技術(shù)突破讓OpenAI的路徑有跡可循,微軟的出現(xiàn)組成了最后一塊拼圖。

    Chat-GPT的昂貴之處,既在于天文數(shù)字的投資和令人心生畏懼的燒錢速度,也在于一個能夠包容瘋狂想法的商業(yè)環(huán)境。正如阿爾特曼所說:

    成千上萬的創(chuàng)業(yè)公司在做社交軟件,只有不到20家公司致力于核聚變。然而偉大的事情實際上更容易,因為飛向太空是每一個人的夢想。

    夢想并不昂貴,但敢于夢想的勇氣卻是一件奢侈品。

    圖片

    參考資料

    [1] 深度學習革命,凱德·梅茨

    [2]Why Elon Musk fears artificial intelligence,Vox

    [3] SAM ALTMAN’S MANIFEST DESTINY,The NewYorker

    [4] Inside OpenAI, Elon Musk's Wild Plan to Set Artificial Intelligence Free,Wired

    [5] The messy, secretive reality behind OpenAI’s bid to save the world,MIT Technology Review

    [6] AI的十年熬贏往事,Tech對角線

    [7]淺談ChatGPT工作的底層邏輯

    [8] How Microsoft’s Stumbles Led to Its OpenAI Alliance,The Information

    [9] 中國如何缺席ChatGPT盛宴,紅博士說

      本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
      轉(zhuǎn)藏 分享 獻花(0

      0條評論

      發(fā)表

      請遵守用戶 評論公約

      類似文章 更多

      主站蜘蛛池模板: 久久精品国产亚洲不AV麻豆| 国产精品日日摸夜夜添夜夜添无码| 色香欲天天影视综合网| 国产av午夜精品福利| 免费大片黄国产在线观看| 天堂资源中文最新版在线一区| 久久精品国产蜜臀av| 性动态图AV无码专区| 中文文字幕文字幕亚洲色| 欧美综合婷婷欧美综合五月| 高清看男人插曲女人视频 | 丰满无码人妻热妇无码区| 久天啪天天久久99久孕妇| 欧美大胆老熟妇乱子伦视频| 性虎精品无码AV导航| 国产一区二区三区在线观看免费| 日本一区二区在线高清观看| 久久精品国产一区二区三区不卡 | 四虎亚洲精品高清在线观看| 亚洲春色在线视频 | 日本高清乱理伦片中文字幕| 在线看片免费人成视频电影| 高大丰满熟妇丰满的大白屁股| 无码精品久久久久久人妻中字| 国产玩具酱一区二区三区 | 中文丝袜人妻一区二区| 被公疯狂玩弄的年轻人妻| 亚洲日本欧美日韩中文字幕| 国产在线观看免费人成视频| 性欧美VIDEOFREE高清大喷水| 国产真人无码作爱视频免费| 97在线精品视频免费| 黑森林福利视频导航| 欧美巨鞭大战丰满少妇| 国产精品自在拍首页视频| 精品亚洲国产成人av| 九九久久精品国产| 日韩AV高清在线看片| 在国产线视频A在线视频| 桃子视频在线播放WWW| 午夜亚洲AV日韩AV无码大全|