使用 GPU 能力

imnobody2001 2024-02-20 發布于廣東

展開全文

一、概述

為了更好地處理圖形渲染，顯卡擁有獨立的圖形處理器GPU（Graphics Processing Unit）。GPU是顯卡的“心臟”，相當于CPU在電腦中的作用。

2000年，斯坦福大學的一個小團隊敏銳發現GPU的計算能力有很多其它想象空間，它能夠處理在電腦屏幕上繪畫以外的更為復雜的任務。

將GPU用于通用計算首先從GPU支持可編程開始，英偉達（NVIDIA）公司在Ian Buck（伊恩·布克）率領下，于2006年正式推出——CUDA（Compute Unified Device Architecture），這是全球首款GPU上的通用計算解決方案。利用CUDA，開發人員可以通過利用GPU的功能大大加快計算應用。在英偉達內部，CUDA是作為所有GPU系列的通用平臺。

2012年，加拿大多倫多大學的Geoffrey Hinton帶著兩個學生，用GPU訓練深度神經網絡拿下了ImageNet圖像識別大賽的冠軍。CUDA和GPU與深度學習的神經網絡結合在一起，震驚了學術界。

如今，當人們談論起生成式 AI 時，GPU 以及相應的性能和訪問性幾乎是繞不過的話題。而英偉達又是 GPU 的代名詞，在國際 GPU 市場上占據絕對優勢的份額。

如今基于CUDA的應用生態繁榮，CUDA 工具包和 cuDNN 優化庫等成為英偉達很好的護城河。

幾個名詞：

NVIDIA：英偉達

CUDA：Compute Unified Device Architecture 是由顯卡廠商NVIDIA推出的運算平臺。它是一種通用并行計算架構，使GPU能夠解決復雜的計算問題。

cuDNN：CUDA Deep Neural Network library 是由NVIDIA開發的一個深度學習GPU加速庫。

二、安裝 CUDA 及 cuDNN

1、查看 CUDA 版本

通過 nvidia-smi 命令，可以查看當前 NVIDIA 顯卡的相關信息及其對應的 CUDA 版本號，如下圖所示，NVIDIA GeForce 顯示其 CUDA 版本為 11.6。

nvidia-smi

2、下載安裝CUDA

下載地址：

https://developer./cuda-toolkit-archive

選擇對應的版本。

選擇 local 安裝文件下載，文件雖然大，但是下載完后安裝就快多了。

3、驗證安裝結果

執行以下命令能顯示相關信息即可。

nvcc --version

4、cuDNN 安裝

cuDNN（CUDA Deep Neural Network library）是由NVIDIA開發的一個深度學習GPU加速庫，為了充分發揮 GPU 在大語言模型推理計算的性能，需要安裝 cuDNN。

下載地址：

https://developer./rdp/cudnn-archive

選擇與 CUDA 11.x 對應的 cuDNN 版本。

下載解壓后將其中的三個文件夾并入 CUDA 的安裝目錄即可。

三、安裝 torch GPU 版

執行以下命令，安裝 torch GPU 版及其相關依賴組件，python 版本選擇 3.10，這個版本的組件在 windows 下比較齊全。

pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0+cu116 -f https://download.pytorch.org/whl/torch_stable.html

是否具備某個版本下的組件，可以查看 torch_stable.html 中列出的文件清單，從文件名結構可分解出其所對應的相關版本，如以下文件名中，cu116 對應 CUDA 11.6，cp310 對應 python 3.10，后面則表示 win 64 位系統。

cu116/torch-1.12.0+cu116-cp310-cp310-win_amd64.whl

驗證結果：

import torchprint(torch.cuda.is_available())

得到 True 即表示 CUDA 版可用。

四、運行ChatGLM-6B模型

使用 CPU 方式部署量化模型雖然可用，但推理速度慢，很難使用，而使用 GPU 速度能提升很多，可滿足一般使用。

GPU 環境下運行至少要 6G 顯存，參考：

https://www./blog/1051680925189690

五、顯存使用嘗試

本示例，在 4G 顯存的情況下，通過向 GPU 多次輸入張量數據（一次約400M）增加其顯存消耗，再逐漸釋放，形成波動曲線，如下圖所示。

代碼如下：

import torch  import time  
# 檢查是否有可用的GPU  if torch.cuda.is_available():      device = torch.device('cuda')  # GPU設備對象  else:      device = torch.device('cpu')  # CPU設備對象  
# 創建大張量，以消耗GPU顯存  tensors = []while True:    for i in range(0, 9):        tensors.append(torch.randn((10000, 10000)).to(device))        time.sleep(0.1)     for i in range(len(tensors)):        t = tensors.pop()        del t        torch.cuda.empty_cache()        time.sleep(0.8)