使用Ollama實現本地部署大模型

打開Ollama的官網，整個網頁上就只有一句顯眼的話：Get up and running with large language models, locally. 中文意思是：在本地快速上手并運行大型語言模型。

1 什么是 Ollama？

Ollama 是一種假設存在的本地大模型運行框架，允許用戶在自己的硬件環境中輕松部署和使用大規模預訓練模型。

1.1 Ollama 特性概覽：

• 易用性與廣泛支持：
  Ollama具有良好的生態支持，可以兼容不同架構的大語言模型，截至今天（2024年3月20日），Ollama官網上公開支持的大模型就有70個之多。
• 量化與推理能力：
  提供了對模型的量化和推理優化能力，這使得模型能夠在有限計算資源下進行高效推理，并且能夠近乎無縫地遷移至相同架構的開源大模型上。
• 安全、快速、穩定的服務：
  使用Ollama，個人開發者或企業可以在不依賴云端的情況下，在本地設備上實現大模型的服務化，從而滿足隱私保護、實時響應或其他特定需求。

1.2 Ollama 資源網址

官網：https:///
Gtihub：https://github.com/ollama/ollama

2 安裝 Ollama

訪問 Ollama 下載地址：https:///download
1）macOS 版本

點擊下方的“Download for macOS”按鈕，下載安裝文件的zip壓縮包。打開解壓縮后生成的文件 ollama.app，直接執行即可完成安裝并運行。在終端窗口里輸入：

ollama --version

返回版本信息即表示安裝完成并正在運行。

2） Windows 版本

點擊下方的“Download for Windows（preview）”按鈕，下載 .exe 可執行安裝文件。
執行下載的文件，安裝過程中殺毒軟件提示有病毒，關閉殺毒軟件，或者將提示的執行文件加入信任白名單，即可完成安裝和運行。

打開 cmd 窗口，在命令行輸入執行：

ollama --version

如果返回版本信息，即表示安裝成功！

3 使用 Ollama

Windows 和 macOS 在使用上幾乎沒有區別。訪問 Ollama 官網，列舉了很多大模型，我們可以從中找一個模型進行測試：

ollama pull qwen:0.5b-chat

下載完成后，運行此模型，在 cmd 中輸入下面的命令：

ollama run qwen:0.5b-chat

簡單測試一些，可以運行了：