又一國產大模型來了，超對稱聯合復旦大學發布 120 億參數語言模型 BBT-2， 已開源

2022年5月，超對稱技術公司發布大語言模型Big Bang Transformer【乾元】的第一版BBT-1，10億參數預訓練語言模型，在中文金融語料上訓練而成。

近期，超對稱公司再推出BBT-2，120億參數的通用大語言模型，并在BBT-2的基礎上訓出代碼，金融，文生圖等專業模型。

Big Bang Transformer【乾元】12B大模型的開發基于英偉達的DGX算力，超對稱公司主導大模型的預訓練，并聯合復旦大學知識工場實驗室完成指令微調和評測工作。

超對稱技術公司將發布基于BBT-2的系列模型（模型Index見于https://bbt.）

• BBT-2-12B-Text：120億參數的中文基礎模型

• BBT-2.5-13B-Text: 130億參數的中文+英文雙語基礎模型

• BBT-2-12B-TC-001-SFT  經過指令微調的代碼模型，可以進行對話

• BBT-2-12B-TF-001 在120億模型上訓練的金融模型，用于解決金融領域任務

• BBT-2-12B-Fig：文生圖模型

• BBT-2-12B-Science 科學論文模型

另外，通過與UCloud在開源方面的合作，超對稱還將3個大模型開源到官網、Github和UCloud，后續用戶可直接在UCloud官方平臺通過GPU云主機的行業鏡像或算力平臺直接開箱使用這些模型：

• BBT-1-0.2B：2億參數金融模型，包括三個不同預訓練方式進行訓練的模型, 訓了600億Tokens：

（1）BBT-1-0.2B-001：2億參數，金融模型，T5 Decoder+Encoder架構 

（2）BBT-1-0.2B-002: 2億參數，金融模型，T5+GPT 

（3）BBT-1-0.2B-003: 2億參數，金融模型，T5+UL2

• BBT-1-1B：10億參數金融模型，T5 Encoder+Decoder架構，使用金融中文語料庫1000億tokens進行預訓練，包含社交媒體，財經新聞，券商研報，公司公告財報等數據

• BBT-2-12B-Text：120億參數基礎模型，GPT Decoder-Only 架構，未經指令微調，完成2000億token預訓練，模型性能還有較大提升空間，開發者可在通用模型上繼續訓練或進行下游任務微調

• BBT-2.5-13B-Text: 130億參數基礎模型，GPT Decoder-Only 架構，未經指令微調，完成2000億中文+英文tokens預訓

開源下載鏈接

模型：

• 官網：https://bbt./model.html

• Github：https://github.com/ssymmetry  

• 語料庫，開源了接近1000億tokens的預訓練語料，包括通用語料和金融語料，詳見：https://bbt./data.html

• 評測數據集，開源了8個中文金融大模型的評測數據集，詳見：

  https://bbt./evaluation.html

• 論文鏈接：

  https:///abs/2302.09432

1.BBT-2-12B-Text 通用模型

BigBang Transformer[乾元]是基于GPT Decoder-only架構的大規模預訓練模型。繼2022年開源BBT-1-0.2B模型之后，我們正式開源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。預訓練語料庫覆蓋14個高質量數據源，覆蓋書籍、百科、論文、小說、新聞、政策文件、中文博客、社交媒體等多個數據源種類。BBT-2-12B-Text基于中文700億tokens進行預訓練，經過指令微調的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預訓練。我們暫時不開放基礎模型的問答對話接口。

模型開源后所有開發者可以：

• 可以直接調用大模型進行對話

• 在我們訓練的基礎上使用自由語料庫繼續訓練

• 對大模型進行微調訓練以滿足各種下游任務

2.BBT-2-12B-Text+Code 代碼模型

開發者可以在超對稱公司官網https://www.測試BBT模型的代碼問答（僅應用于代碼生成場景，無法回答與代碼無關的問題）。

BBT-TC，是超對稱技術公司近期發布的 BBT-2 大模型系列中的代碼模型，在 百億基座模型BBT-2-12B-Text接續訓練代碼數據集，通過有監督指令微調（Supervised Fine-Tuning）解鎖模型的推理能力。該模型在專業評測中分數超過其他中國公司開發的同類模型，僅次于GPT-3.5。

詳情可見文章《超對稱技術公司的代碼大模型CodeBBT在專業評測中位居前列，僅次于GPT-3.5》

3.BBT-2-12B-TF-001金融模型

• 超對稱公司于2021年便開始針對金融投資領域的應用，著手設計和訓練了一個大規模參數預訓練語言模型Big Bang Transformer乾元(BBT)，目前發布了Base 版本2.2億參數和Large 版本10億參數以及最新的BBT2，120億參數通用模型。BBT模型的目標是為金融投資建立統一的人工智能算法框架，基于transformer構建能融合訓練金融投資涉及的不同模態數據的架構。在統一架構的基礎上訓練大規模參數預訓練模型，隨著模型參數和訓練數據集繼續增大，超對稱團隊有希望開發出在金融領域接近人類智能水平的模型。作為金融領域的基石模型，BBT模型為所有金融投資，經濟分析，商業咨詢等場景的深度學習下游任務提供微調服務。金融投資領域有大量從業機構和人員，大廠有財力雇傭算法工程師，小團隊卻用不起基本的文本抽取算法。BBT模型作為金融領域的算法基礎設施，讓所有從業者配備同級別的武器，讓全行業站在同一起跑線去競爭更優的投資策略，從而推動金融和經濟市場更高效的信息和要素流動。

• （1）BBT-2-12B-TF-001 金融模型有以下優勢：

• 早于BloombergGPT一年發布的中文金融大模型

• 已獲大量知名客戶付費：包括中國的百億量化基金和華爾街知名基金

• 最全金融數據集

為了更好地推進中文金融自然語言處理的發展，我們搜集和爬取了幾乎所有公開可以獲得的中文金融語料數據: 

1. 過去20年所有主流媒體平臺發布的財經政治經濟新聞 

2. 所有上市公司公告和財報 

3. 上千萬份研究院和咨詢機構的研究報告 

4. 百萬本金融經濟政治等社會科學類書籍 

5. 金融社交媒體平臺用戶發帖

（2）BBT-TF在公告摘要任務場景超越ChatGPT：我們使用ChatGPT和BBT-TF對同一份公告，相同輸入，生成摘要并對比效果，發現BBT-TF更滿足實際運用場景：

• BBT-TF摘要撰寫更為簡潔，精準從長篇文本中抓取關鍵信息（上為ChatGPT，下為BBT-TF）

• BBT-TF還可進行四舍五入的計算

• 在金融行業對數字高精度要求下，BBT-TF可對單位進行準確的換算

• BBT-TF還可解讀表格信息，并作出相應文字摘要

• ChatGPT無法結合金融實際場景，會忽略一定關鍵信息

• 我們開發了11種已落地應用的下游任務，面向專業金融開發者API，已獲得中國及海外金融機構付費

• 基于BBT-TF情緒計算下游任務形成成熟的因子數據集：

  例：對社交媒體情緒因子進行單因子分層回測

• 評測數據集

超對稱團隊針對金融行業的預訓練模型發布了一套目前中文領域金融大模型最專業的評測數據集BBT-CFLEB，包含八個標準語言任務，用以衡量不同的模型的多維能力，建立了一個跨模態聯合訓練文本和時序數據的基于Transformer的架構，以及促進金融大模型研發。現開源于Github，同時可在BBT模型網站上查看研發細節，評測數據，不同模型排名甚至可以下載開源模型根據自己需求訓練下游任務并上傳展示，歡迎不同團隊打榜。

5. 
   

6. 4.BBT-2-12B-Image文生圖模型

10. 
    

基于BBT-2大語言模型，超對稱開發文生圖AIGC模型BBT-Image，聯合專業圖庫公司上海慧岳科技開發了面向紡織行業，印刷，廣告，游戲等行業客戶的應用平臺ai.shenbi.pro. 經過專業評測，BBT-Image在紡織行上的應用效果比Stable Diffusion和其他國內大模型明顯更優。

BBT-Image能夠生成非常逼真的圖像，并且具有可控的樣式和風格。在紡織行業中，BBT-Image可以通過對不同紡織材料的圖像進行學習，生成具有紋理（可無縫拼接）、色彩（色彩亮度不會受訓練樣本明暗影響，為標準化設計用樣式）和設計元素（可隨意組合元素）的紡織品圖案，提高紡織品設計的效率和創新性。該技術還可用于家裝等等需要圖案設計的行業。

6. 5.BBT-2-12B-Science 科學論文模型

• 大模型將成為發掘新科學規律的有力工具

馬斯克認為AGI的終極測試是模型能發現新的物理定律。GPT-4在醫生資格考試、律師資格考試、AP考試、GRE上獲得不錯的分數，但目前還沒有證明其能有效地發現或輔助人類知識庫尚未存在的知識。對于中國的大模型研發團隊，直接瞄準大語言模型用于科學發現是超越GPT-4的一個可能路徑。在科學研究上，研究人員可以使用語言模型來自動提取和分析論文中的主題、實驗方法、結果和結論，從而發現新的科學發現和研究方向。BBT-Science大模型是基于BBT大模型在幾千萬篇科研論文上訓練構建的輔助科學發現的大模型，應用于物理、化學、生物、數學等不同學科的科研知識問題，可以提供三方面的能力：

• 快速精準的知識檢索。這項能力和大模型在其他領域的對話能力相近。

• 針對所研究領域的前沿問題提供新的ideas. 這種新ideas產生于大模型在該領域的海量數據檢索和重新組合，發現前人未發現的可能性。

• 利用多學科知識訓練出的能力提供跨學科的建議和洞見。這項能力潛力最大。

為了對科學大模型進行評測，超對稱技術公司與復旦、上海交大、浙大、南航、中山大學、北師大等多所大學合作，正在號召全球一線的科研人員共同構建一個最大的科研問題評測數據集ResearchQA。該數據集覆蓋數學、物理、化學、生物、地理地質、計算機、電子工程等主流科研領域。科學大模型將成為全球科研能力的底層引擎，帶來科研生產力的加速。該數據集直接采集科研領域里前沿的研究課題作為問題，重點考察大模型回答的創新性。有興趣提供自己科研課題的問題和答案共同構建評測數據集的科研人員可以聯系郵箱 ：researchqa@

計算機	材料	機械	環境	數學	化學	生物	物理
電子與通信工程	材料科學與工程	機械設計制造及其自動化	生態學	數學史	無機化學	生物科學	經典力學
應用電子技知術	材料物理	材料成型及控制工程	環境化學	數理邏輯與數學基礎	分析化學	生物技術	熱力學
電子科學與技術	材料化學	工業設計專業	環境生物	數論	有機化學	生物信息學	統計力學
計算機科學與技術	冶金工程	過程裝備與控制工程	環境毒理學	動力系統	物理化學	生態學	電磁學
微電子技術	高分子材料與工程	車輛工程	環境物理學	泛函分析	高分子化學	整合科學	相對論
計算機輔助設計與制造	復合材料與工程	機械電子工程	環境地學	幾何學	生物化學	神經科學	量子力學

在數學、物理、化學、生物、地質、地理等各個學科的前沿，科研人員與各種各樣的未解之謎奮戰，不斷拓寬人類的知識疆界。讓壓縮學習數億論文和書籍的大模型來參與對這些問題的討論和解決，將是人類對自然界征程的其中最精彩的一幕。如以下宇宙學領域的前沿問題：

7. 
   

8. 6.為模型涌現現象構建數學框架

9. 
   

超對稱技術公司研發團隊應用統計力學的相變理論和重整化群機制在為大模型的涌現現象建立數學框架。Google Brain的研究人員比較了不同大模型在各種下游任務的表現，發現大模型訓練到10^22次方Flops左右的時候模型的準確率會從接近零突然躍升，目前統計了137種不同任務觀察到這樣的現象。對于小模型不具備而大模型具備的能力，我們定義為涌現能力。OpenAI團隊在2020年的一項工作（標度律 Scaling Law）研究了大模型Loss值和模型參數大小，數據量和算力之間都存在冪次律關系。

在由物理規律控制的復雜系統中，我們發現冪次律存在于二階相變（連續相變）的臨界態中，帶來臨界態的標度不變性（Scale Free）現象。一般觀察到冪次律意味著存在連續相變現象，比如超流體和鐵磁相變都有這樣的現象。而在2003年以來的生物神經元實驗中，科研人員發現大腦神經元的放電也存在冪次律和連續相變，意味著大腦類似沙子堆積到一定高度自動崩塌一樣運作于臨界態上。重整化群是一套有效的數據工具用于描述凝聚態物理的相變和臨界性。人工神經網絡是對生物神經元工作機制的一種高度抽象，由于在基于人工神經網絡的大模型上發現了冪次律，我們推測大模型在訓練過程中也發生了連續相變，存在某種臨界性。

重整化群是一種分析凝聚態物理相變和臨界性的有效數學手段，成功解釋了鐵磁相變和超導現象，理論預測值和實驗數據高度接近。科研人員已經用重整化群解釋了生物神經元的臨界性。因此,超對稱公司研發團隊正在應用重整化群為大模型的涌現行為構建數學框架，從而將微觀的單個神經元和宏觀的1750億參數的大模型用數學函數關聯起來。通過有效的數學框架研究涌現的底層機制，超對稱公司的目標是未來實現讓大模型進行可控地涌現。

1. 

2. 

5. 你也「在看」嗎？ ??