AI人工智能深度學(xué)習(xí)——大模型概念

fjgsd 2025-07-04 發(fā)布于廣東

展開全文

往期文章有講述人工智能的發(fā)展史和具體概況，而本期講述的是人工智能中最核心深度學(xué)習(xí)能力——大模型。大模型是人工智能領(lǐng)域的一種超大規(guī)模深度學(xué)習(xí)模型，它通過海量數(shù)據(jù)訓(xùn)練和千億級參數(shù)實(shí)現(xiàn)對復(fù)雜信息的理解與創(chuàng)造。隨著我們學(xué)習(xí)的深入，通過主角“大模型”的敘述，了解人工智能深度學(xué)習(xí)背后的故事。

什么是AI大模型？（超詳細(xì)）大模型從入門到精通，看這一篇就夠了【附學(xué)習(xí)路線+全套學(xué)習(xí)籽料】_ai數(shù)據(jù)大模型學(xué)習(xí)內(nèi)容-CSDN博客

一、大模型簡介

大模型通常指的是大規(guī)模的人工智能模型，是一種基于深度學(xué)習(xí)技術(shù)，具有海量參數(shù)、強(qiáng)大的學(xué)習(xí)能力和泛化能力，能夠處理和生成多種類型數(shù)據(jù)的人工智能模型，其顯著特征有以下幾點(diǎn)：

訓(xùn)練數(shù)據(jù)大：使用互聯(lián)網(wǎng)級文本（書籍、網(wǎng)頁、代碼等）進(jìn)行訓(xùn)練，量級可達(dá)TB~PB級文本，而傳統(tǒng)的AI模型僅達(dá)到GB級文本。

參數(shù)規(guī)模大：模型參數(shù)量可達(dá)數(shù)十億至數(shù)萬億，而傳統(tǒng)的AI模型僅達(dá)百萬至千萬級。

算力需求大：需數(shù)千塊GPU/TPU并行訓(xùn)練數(shù)周甚至數(shù)月，其訓(xùn)練成本可達(dá)千萬至億美元級，傳統(tǒng)的AI模型成本是數(shù)萬美元。

人工智能包含了機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)包含了深度學(xué)習(xí)，深度學(xué)習(xí)可以采用不同的模型，其中一種模型是預(yù)訓(xùn)練模型，預(yù)訓(xùn)練模型包含了預(yù)訓(xùn)練大模型（可以簡稱為“大模型”），預(yù)訓(xùn)練大模型包含了預(yù)訓(xùn)練大語言模型（可以簡稱為“大語言模型”）。

（圖片整理：廈門大學(xué)大數(shù)據(jù)教學(xué)團(tuán)隊(duì)研報）

二、大模型的分類

按模態(tài)能力分：可分為單模態(tài)模型和多模態(tài)模型。單模態(tài)模型支持的數(shù)據(jù)類型僅有文本類型，主要應(yīng)用于對話形式的生成、寫作內(nèi)容的生成和代碼生成；多模態(tài)模型的支持?jǐn)?shù)據(jù)類型會多些，有文本、圖像、音頻、視頻等，能應(yīng)用于圖片處理并理解分析和跨模態(tài)的推理分析。

按參數(shù)量級分：可分為輕量級、中量級和重量級。輕量級的參數(shù)規(guī)模一般會小于10億級，應(yīng)用端硬件通常在手機(jī)或消費(fèi)級的GPU上，滿足日常手機(jī)處理所需功能；中量級參數(shù)規(guī)模在10億至700億級之間，應(yīng)用端一般是服務(wù)器的GPU上，一些大企業(yè)有專門服務(wù)器支持會使用到；重量級的參數(shù)規(guī)模甚至可達(dá)千億級，像GTP-4用到的千卡集群。

按處理的數(shù)據(jù)模態(tài)分：可分為語言模型、視覺模型和多模態(tài)模型。語言模型指在自然語言處理領(lǐng)域中的一類大模型，通常用于處理文本數(shù)據(jù)和理解自然語言。這類大模型的主要特點(diǎn)是它們在大規(guī)模語料庫上進(jìn)行了訓(xùn)練，以學(xué)習(xí)自然語言的各種語法、語義和語境規(guī)則；視覺模型指在計(jì)算機(jī)視覺領(lǐng)域中使用的大模型，通常用于圖像處理和分析。這類模型通過在大規(guī)模圖像數(shù)據(jù)上進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)各種視覺任務(wù)，如圖像分類、目標(biāo)檢測、圖像分割、姿態(tài)估計(jì)、人臉識別等；多模態(tài)模型指能夠處理多種不同類型數(shù)據(jù)的大模型，例如文本、圖像、音頻等多模態(tài)數(shù)據(jù)。這類模型結(jié)合了NLP和CV的能力，以實(shí)現(xiàn)對多模態(tài)信息的綜合理解和分析，從而能夠更全面地理解和處理復(fù)雜的數(shù)據(jù)。

三、大模型的產(chǎn)品

大模型的產(chǎn)品出了國外的ChatGPT、Gemini等外，還有國內(nèi)在持續(xù)爆火的DeepSeek、豆包、Kimi、文心一言等，在市場上占據(jù)高份額。

豆包：豆包是字節(jié)跳動基于云雀模型開發(fā)的 AI，能理解你的需求并生成高質(zhì)量回應(yīng)。它知識儲備豐富，涵蓋歷史、科學(xué)、技術(shù)等眾多領(lǐng)域，同時具備出色的文本創(chuàng)作能力，能撰寫故事、詩歌、文案等各類體裁。個人感覺在文章寫作靈感和圖片創(chuàng)作上使用的體驗(yàn)感較好。

Kimi：北京月之暗面科技有限公司于2023年推出的一款智能助手，支持長文本處理，主要應(yīng)用于學(xué)術(shù)研究、法律分析和API文檔理解等領(lǐng)域。在數(shù)據(jù)收集和分析上，它的優(yōu)勢會比較明顯。

DeepSeek：DeepSeek是杭州一家名為“深度求索”的中國初創(chuàng)公司，最初發(fā)布DeepSeek-V3模型，在多個基準(zhǔn)測試中，性能均超越了其他開源模型，甚至與頂尖的閉源大模型GPT-4o不相上下，DeepSeek在硅谷被譽(yù)為“來自東方的神秘力量”。

四、大模型的基本原理

大模型是基于Transformer架構(gòu)的，這種架構(gòu)是一種專門用于自然語言處理的“編碼-解碼器”架構(gòu)。在訓(xùn)練過程中，大模型將輸入的單詞以向量的形式傳遞給神經(jīng)網(wǎng)絡(luò)，然后通過網(wǎng)絡(luò)的編碼解碼以及自注意力機(jī)制，建立起每個單詞之間聯(lián)系的權(quán)重。大模型的核心能力在于將輸入的每句話中的每個單詞與已經(jīng)編碼在模型中的單詞進(jìn)行相關(guān)性的計(jì)算，并把相關(guān)性又編碼疊加在每個單詞中。這樣，大模型能夠更好地理解和生成自然文本，同時還能夠表現(xiàn)出一定的邏輯思維和推理能力。

五、全文小結(jié)

大模型的發(fā)展對于推動產(chǎn)業(yè)升級、應(yīng)對市場挑戰(zhàn)和促進(jìn)技術(shù)進(jìn)步具有重要意義，近年計(jì)算機(jī)技術(shù)和大數(shù)據(jù)的不斷發(fā)展，大模型將在更多領(lǐng)域發(fā)揮重要作用，成為人工智能時代的重要引擎。同時大模型的應(yīng)用也面對諸多挑戰(zhàn)，例如計(jì)算成本和能耗、過擬合與泛化問題、數(shù)據(jù)隱私問題等，這些在未來都需要我們眾多研究學(xué)者共同攻克的核心問題。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： fjgsd > 《嘅念與視野》

舉報/認(rèn)領(lǐng)