ollama教程（window系統）

前言

在《本地大模型工具哪家強？對比Ollama、LocalLLM、LM Studio》一文中對比了三個常用的大模型聚合工具優缺點，本文將詳細介紹在window操作系統下ollama的安裝和使用。要在 Windows 上安裝并使用 Ollama，需要依賴 NVIDIA 顯卡，并安裝相關的驅動和 CUDA 工具鏈。以下是詳細的分步驟指南：

一、安裝ollama對硬件和軟件的要求

1. 硬件要求：

• NVIDIA 顯卡，建議至少為 RTX 系列，顯存 8GB 及以上。
• 足夠的磁盤空間（建議 40GB 以上）。
• 推薦安裝 SSD，提高性能。

2. 操作系統要求：

• Windows 10 或更新版本（64 位）。

3. 軟件依賴：

• NVIDIA 驅動。
• CUDA Toolkit（包含 cuDNN）。
• Ollama 安裝文件。

二、安裝 NVIDIA 驅動

提示：一般情況下在安裝操作系統的時候就會安裝英偉達顯卡的驅動了，如果已經安裝了顯卡驅動，可以跳過這一步。

1.檢查顯卡型號：

1. 快捷鍵方式：按下“Windows”鍵+“X”鍵，從彈出的菜單中選擇“設備管理器”。
2. 在設備管理器窗口中，展開“顯示適配器”選項。
3. 在展開的列表中，就可以看到顯卡的型號。例如，如果是NVIDIA的顯卡，可能會顯示為“NVIDIA GeForce GTX 1660 Ti”等類似的型號名稱。
4. 在“幫助”菜單中，查看“系統信息”中的顯卡型號。

2.下載驅動：

• 訪問 NVIDIA 官方網站：https://www./Download/index.aspx。
• 輸入你的顯卡型號，選擇系統版本，點擊“搜索”并下載最新版本驅動程序。

3.安裝驅動：

• 雙擊下載的驅動程序文件。
• 選擇“自定義安裝”，確保選中“清潔安裝”以刪除舊驅動殘留。
• 完成安裝后，重新啟動計算機。

三、安裝 CUDA Toolkit

1. 下載 CUDA：

• 訪問 NVIDIA CUDA Toolkit 官方頁面：https://developer./cuda-downloads。
• 選擇你的操作系統、架構和版本，下載對應的安裝包。

2. 安裝 CUDA：

• 雙擊安裝包，按照安裝向導進行安裝。
• 確保勾選“附加工具”（包括 nvcc 和相關庫）。
• 記下安裝路徑（默認是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。

3. 配置環境變量：

• 右鍵“此電腦”，選擇“屬性” > “高級系統設置” > “環境變量”。
• 在“系統變量”中找到 Path，點擊“編輯”。
• 添加以下路徑：

  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\bin
  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\libnvvp

• 點擊“確定”保存。

4. 驗證 CUDA 是否安裝成功：

• 打開命令提示符，運行：

   nvcc --version

• 如果返回 CUDA 版本號，說明安裝成功。

四、安裝 cuDNN

提示：cuDNN 的核心作用是加速 Ollama 運行的底層深度學習框架，從而提升推理效率

1. 下載 cuDNN：

• 訪問 NVIDIA cuDNN 下載頁面：https://developer./cudnn。
• 登錄或注冊 NVIDIA 開發者賬號。
• 下載與你的 CUDA 版本兼容的 cuDNN 壓縮包。

2. 安裝 cuDNN：

• 解壓下載的壓縮包。
• 將 bin、include 和 lib 文件夾的內容復制到對應的 CUDA Toolkit 安裝目錄下（例如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。

五、安裝并運行 Ollama

1. 下載 Ollama：

• 訪問 Ollama 官方網站， 下載Windows 的安裝文件。
  

2. 安裝 Ollama：

• 直接點擊ollama的window安裝包安裝即可。
• 配置環境變量，將 Ollama 所在目錄添加到 Path。

3. 運行 Ollama：

• 打開命令提示符，運行：

 ollama --help

• 如果顯示幫助信息，說明安裝成功。

4.查看可以下載的大模型

• 訪問 https:///library

• 搜索想要下載的大模型，
  

• 打開大模型詳情頁面，選擇大模型版本，可以查看運行大模型的命令。
  

5. 下載模型：

   ollama pull glm4:9b

其中glm4:9b是你下載的大模型名稱。

6. 運行模型：

   ollama run glm4:9b

其中glm4:9b是你運行的大模型名稱，如果沒有下載大模型，會先下載大模型，下載完再運行這個大模型。

7. 查看已下載的模型：

   ollama list

8. 退出模型對話：

通過在對話命令行中輸入/bye或使用快捷鍵Ctrl + d來退出。

六、常見問題

1、如何修改ollama存放大模型的文件夾？

• ollama默認存放model文件的位置：C:\Users{用戶名}.ollama

• 修改ollama存放模型的默認位置只需在環境變量添加OLLAMA_MODELS=“E:\ollama”

• 其中"E:\ollama"是你設置存放大模型的新位置。

2、ollama下載大模型太慢，怎么辦？

如果使用ollama pull或ollama run下載大模型太慢，您可以手動從Hugging Face等網站下載模型文件（通常是.gguf格式），然后使用Ollama的create命令來創建模型。具體步驟如下：

1. 創建一個文件夾來存放權重文件（例如gguf文件）。
2. 從Hugging Face下載所需的.gguf文件，并將其放在創建的文件夾中。
3. 創建一個構造文件（例如gemma-9b.modelfile），內容如下：

FROM ./gemma-2-9b-it-Q4_K_L.gguf

4. 使用以下命令創建模型：

ollama create gemma-9b -f gemma-9b.modelfile

5. 測試模型：

ollama run gemma-9b "hi who are u?"