AI大模型研究：大模型對整車智能化將帶來顛覆性影響

AI大模型正經歷突飛猛進的發展，ChapGPT和SORA的推出讓人感到震撼，處于AI前沿的科學家和企業家指出，AI大模型將重構各行各業，特別是科技相關的領域。智能汽車作為一種科技產品，將如何被AI大模型改變？

大模型如何重構智能汽車？

繼《2024年汽車AI大模型技術和應用趨勢研究報告》從宏觀層面探討AI大模型對汽車行業的影響之后，佐思汽研推出第二份研究報告《2024年AI大模型對整車智能化設計和開發的影響研究報告》，從汽車硬件層、操作系統層、應用功能層、云端大數據層等方面研究AI大模型對整車智能化設計和開發的影響。

2023年，長安汽車在原有的SDA軟件驅動架構上（SDA原來包含L1-L6層），加入了AI邊緣側和AI服務層。可以看到AI技術已經影響到智能汽車的大多數層面：L3電子電器架構層，L4整車操作系統層，L6整車功能應用層（含座艙、網聯和智駕），L7云端大數據層等。L1機械層的底盤部分，L2動力層的電池部分，實際上也已經開始有AI應用案例。

長安汽車AI+SDA整車架構

來源：長安汽車

總結當前主機廠和Tier1的大模型應用情況，主要還處于整車智能化的局部層面，或開發流程的某個環節。

AI大模型在整車智能化架構各層級的應用案例

整理：佐思汽研

觀察AI大模型在汽車應用的大趨勢，我們還需要從大模型的演進中尋找思路。根據騰訊研究院的成果，AI將從大腦進化到AI Agent，從CoPilot進化到自主駕駛。

來源：騰訊研究院

那么，什么是AI Agent？

大模型/AI Agent 將取代 操作系統/APP?

佐思汽研認可這樣的觀點：AI大模型即OS，AI Agent（智能體）即應用。智能化產品的開發范式將從傳統的OS-APP生態系統范式轉變為 AI大模型-AI Agent生態系統范式。

來源：互聯網

什么是AI Agent？AI Agent是一種超越簡單文本生成的人工智能系統。它使用大型語言模型（LLM）作為其核心計算引擎，使其能夠進行對話、執行任務、推理并展現一定程度的自主性。簡而言之，Agent是一個具有復雜推理能力、記憶和執行任務手段的系統。可見，蔚來汽車座艙里的NOMI GPT，特斯拉FSD V12就分別是座艙域和智駕域的AI Agent。

來源：知乎

AI大模型是平臺級AI，包括一線科技公司推出的大模型如ChatGPT，文心一言等。平臺級AI可以作為技術基礎，全面賦能操作系統，被視為下一代操作系統的新內核。傳統的操作系統內核主要負責管理和調度系統的硬件資源，如GPU、內存等，以確保系統的正常運行和高效利用。然而，隨著用戶需求的日益增長，AI系統需要解析許多與人相關的個性化體驗。

對于個人知識庫、人的位置和狀態感知、人的習慣愛好等與人相關的個性化因素，傳統的操作系統無法進行有效的計算和處理。因此，我們需要一個全新的內核來滿足這些需求。平臺級AI大模型的強大之處在于，它能夠管理和處理多種個人因素，幫助操作系統精準識別用戶的意圖。有了這樣的能力，全新的操作系統就能為所有人帶來“猜你所想，懂你所需”的智慧體驗。

在汽車座艙應用中，要做到真正的千人千面，還需要車企根據自家車型和服務的特點，對AI大模型做進一步的定制，也就是基于平臺級AI大模型基礎上的AI Agent。我們可以看到，吉利車型（譬如極越、銀河）基于百度文心一言推出的座艙系統，奔馳接入ChatGPT后的車載語音助手，實際上都是一種AI Agent。

目前，智駕AI Agent和座艙AI Agent是分離的，未來隨著艙駕融合的發展，智駕AI Agent和座艙AI Agent也將走向融合。但是，主機廠和Tier1現在考慮艙駕融合，就不能只考慮硬件層面的融合，還需要考慮操作系統和整車系統架構層面，特別是要考慮大模型/AI Agent模式的快速演進。

大模型/AI Agent 目前是操作系統/APP生態的一部分，未來會取代操作系統/APP 模式嗎？我們認為是有可能的。

基于大模型的Agent不僅可以讓每個人都有增強能力的專屬智能助理，還將改變人機協同的模式，帶來更為廣泛的人機融合。人類與AI協同有三種模式：嵌入（embedding）模式，副駕駛（Copilot）模式，智能體（Agent）模式。

來源：知乎

在智能駕駛中，嵌入（embedding）模式相當于L1-L2級自動駕駛，副駕駛（Copilot）模式相當于L2.5和高速NOA，智能體（Agent）模式相當于城市NOA和L3級自動駕駛。

在智能體（Agent）模式下，人類設定目標和提供必要的資源（例如計算能力），然后AI獨立地承擔大部分工作，最后人類監督進程以及評估最終結果。這種模式下，AI充分體現了智能體的互動性、自主性和適應性特征，接近于獨立的行動者，而人類則更多地扮演監督者和評估者的角色。

在AI智能體（Agent）模式下，原來通過車機APP實現的大量交互操作，現在通過自然形態交互（語音，手勢等）就能實現目標。甚至AI Agent主動觀察車內外情況，提出需求問詢，經過車主確認后即可執行某項任務。

因此，AI Agent的發展必然讓以前的大量APP變得沒有必要，必將給智能座艙和智能駕駛的開發及應用，帶來顛覆性影響。

當前的AI大模型并不是操作系統，而是一種人工智能模型的范式和架構，關注如何讓機器具備處理多種模態數據(如文本、圖像、視頻等)的能力。AI Agent更類似于一種人工智能應用或應用層，需要底層操作系統和硬件的支持才能運行，本身不負責計算機系統的基本管理和資源調度。未來AI大模型很可能和OS結合，成為AIOS。

AI大模型和AI Agent的發展對未來操作系統的影響包括：

• 小APP程序將會消失或者演變成調用大模型的AI智能體形態；
• OS體系可能演變成大模型+計算芯片的核心集群OS架構；
• AI大模型作為平臺重新定義和賦能各類行業應用場景，催生更多以人機交互為核心的原生應用，包括自動駕駛車輛、機器人和數字孿生應用等。

《2024年AI大模型對整車智能化設計和開發的影響研究報告》目錄

共160頁

01

AI大模型應用現狀與未來趨勢

1.1 AI大模型應用簡介

1.1.1 各類AI模型介紹

1.1.2 多模態大模型VLM：通用架構和演進趨勢

1.1.3 大模型對3D道路場景理解的演進趨勢

1.1.4 多模態大模型對智能汽車行駛道路場景理解的演進趨勢總結

1.2 應用現狀

1.2.1 AI大模型應用分類

1.2.2 AI大模型應用現狀：供應商

1.2.3 AI大模型應用現狀：主機廠

1.2.4 AI大模型在整車不同層級的應用

1.2.5 AI大模型在不同場景中的應用實例

1.3 Sora文本生成視頻大模型

1.3.1 自動駕駛AD基礎大模型：世界模型與視頻生成

1.3.2 視覺生成大模型：歷史回顧與對比分析

1.3.3 Sora文本生成視頻大模型：基本原理與社會價值

1.3.4 Sora文本生成視頻大模型：基本系統介紹

1.3.5 Sora文本生成視頻大模型：基本功能

1.3.6 Sora文本生成視頻大模型：優勢與局限

1.3.7 Sora文本生成視頻大模型：案例分析

1.3.8 解讀Sora模塊（1）

1.3.9 解讀Sora模塊（2）

1.3.10 解讀Sora模塊（3）

1.3.11 解讀Sora模塊（4）

1.3.12 Sora vs GPT-4：算力需求對比分析

1.3.13 Sora文本生成視頻大模型：對自動駕駛行業的推動預測

1.4 總結

1.4.1 AI大模型導致涌現效應

1.4.2 AI大模型相對于傳統AD模型的優勢

1.4.3 AI大模型對操作系統的影響

1.4.4 AI大模型對SOA架構/仿真設計/SoC設計的影響

1.4.5 AI大模型對自動駕駛開發的影響

1.4.6 AI大模型演進趨勢1

1.4.7 AI大模型演進趨勢2

1.4.8 智能汽車行業AI大模型的痛點分析與解決思路

1.4.9 AI大模型的現存問題

1.4.10 Sora文本生成視頻大模型對智能汽車行業的影響分析與預測

1.4.11 AI計算芯片設計的痛點和應對措施

1.4.12 AI大模型：人機融合決策控制的新突破

1.4.13 AI大模型對汽車智能化的影響總結（1）

1.4.14 AI大模型對汽車智能化的影響總結（2）

1.4.15 AI大模型對汽車智能化的影響總結（3）

1.4.16 AI大模型對汽車智能化的影響總結（4）

1.4.17 AI大模型對汽車智能化的影響總結（5）

1.4.18 AI大模型對汽車智能化的影響總結（6）

02

AI大模型對汽車硬件層的影響

2.1 AI大模型對芯片設計和功能的影響

2.1.1 AI大模型對芯片的影響趨勢（1）

2.1.2 AI大模型對芯片的影響趨勢（2）

2.1.3 AI大模型對芯片的影響趨勢（3）

2.1.4 LLM大模型對智能汽車SoC設計范式的變革

2.1.5 案例1

2.1.6 案例2

2.1.7 NVIDIA自動駕駛DRIVE系列芯片

2.1.8 案例3

2.1.9 AI大模型對座艙芯片設計和規劃的影響

2.1.10 案例4

2.2 AI大模型對ADAS傳感器和感知系統開發的影響

2.2.1 大模型驅動：感知能力融合與共享的演進趨勢

2.2.2 案例5

2.2.3 案例6

03

AI大模型對汽車SOA架構/操作系統的影響

3.1 AI大模型對SOA/EE架構的影響

3.1.1 EE架構演進的驅動因素

3.1.2 AI大模型對算力需求也推動EE架構進化

3.1.3 多模態大模型與EE架構3.0

3.1.4 從大模型Agent技術看SOA發展方向

3.1.5 案例1

3.2 AI大模型對操作系統設計和開發的影響

3.2.1 AI大模型如何影響OS（1）

3.2.2 AI大模型如何影響OS（2）

3.2.3 AI大模型如何影響OS（3）

3.2.4 案例2

3.2.5 案例3

3.2.6 案例4

3.2.7 案例5

3.2.8 案例6

04

AI大模型對汽車數據閉環/仿真系統的影響

4.1 AI大模型對數據閉環的影響

4.1.1 數據驅動的自動駕駛系統

4.1.2 數據驅動與數據閉環

4.1.3 大模型在智能駕駛的應用

4.1.4 長安數據閉環

4.1.5 東信創智云端數據閉環解決方案SimCycle

4.1.6 華為盤古大模型與數據閉環

4.1.7 華為盤古大模型如何賦能自動駕駛開發平臺

4.1.8 商湯數據閉環方案

4.1.9 覺非科技采用地平線芯片與大模型完成數據閉環

4.2 AI大模型對仿真系統的影響

4.2.1 自動駕駛視覺大基礎模型VFM

4.2.2 Sora與Tesla FSD-GWM視頻生成能力對比分析

4.2.3 Sora與LLM對比

4.2.4 Sora與ChatSim對比

4.2.5 多模態基礎大模型

4.2.6 生成式世界模型GAIA-1系統架構

4.2.7 案例1

4.2.8 案例2

4.2.9 案例3

4.2.10 案例4

05

AI大模型對自動駕駛和智能座艙的影響

5.1 AI大模型對自動駕駛的影響

5.1.1 自動駕駛AD基礎大模型：應用場景與戰略意義

5.1.2 自動駕駛AD基礎大模型：典型應用

5.1.3 自動駕駛AD基礎大模型：典型應用和局限性分析

5.1.4 自動駕駛AD基礎大模型：主要適配場景與應用方式

5.1.5 自動駕駛視覺基礎大模型VLM/MLM/VFM：行業適配場景與主要應用

5.1.6 自動駕駛AD基礎大模型：適配場景案例

5.1.7 自動駕駛視覺大模型：數據表征方式與主要應用

5.1.8 智駕域控的演進趨勢

5.1.9 多模態大模型智駕應用

5.2 AI大模型在自動駕駛的應用案例

5.2.1 案例1

5.2.2 案例2

5.2.3 案例3

5.2.4 商湯Drive-MLM：世界模型構建

5.2.5 商湯Drive-MLM：多模態生成式交互

5.2.6 案例4

5.2.7 案例5

5.2.8 案例6

5.2.9 高通混合式AI：在智駕中的應用

5.2.10 高通AI模型庫

5.2.11 案例7

5.2.12 案例8

5.3 AI大模型對座艙域控的影響

5.3.1 多模態基礎大模型

5.3.2 大模型對交互設計的影響：數據分析與決策

5.3.3 大模型對交互設計的影響：通過自主學習提供個性化服務

5.3.4 案例1

5.3.5 案例2

5.3.6 案例3

5.3.7 案例4

5.3.8 案例5

06

AI AGENT與汽車

6.1 什么是AI AGENT

6.2 AI AGENT的發展方向

6.3 AI AGENT的智能汽車應用趨勢

6.4 AI AGENT的汽車應用案例