|
這兩天deepseek-R1在春節刷屏了，他用較低的成本復現了Open Ai O1推理模型的效果，把本來OpenAi唔得死死的秘密給公開了。更加厲害的是他還開源了，讓每個人都有機會做出O1這樣的產品，真是太炸裂了。 現在DeepSeek推理模型這么火，并且最近由于黑客攻擊也經常崩，那我們就來建一個本地的推理大模型吧，趁春節假期趕緊學起來。 我介紹的內容不需要有任何技術知識、也不需要有開發經驗，全部通過軟件操作和命令行來完成（復制黏貼，搬磚大法）。 01 本地安裝環境準備1.1、電腦硬件環境先說一下電腦硬件要求，如果要順暢的運行建議是以下的配置。
不過也不用擔心，我們只是使用大模型而不是做微調和訓練，所以硬件只要滿足最低要求就行了。實際使用下來我的Mac電腦，16G內存、集成顯卡也能運行起來也挺順暢的。 將來要微調、訓練模型我們再考慮是否要升級電腦或者租用云環境。 1.2、系統安裝環境
這次安裝要用到兩個工具Docker和Ollama這兩個容器，什么叫容器呢？就是你的應用程序和模型運行的環境。 1）Docker容器：是一個開源的容器引擎，你的應用只要安裝一次就能在各種平臺上運行。在這里我們用它來運行WebUI這個大模型的前端操作界面。 2）Ollama：是一個開源的AI工具平臺，他可以托管很多的大模型在本地運行，支持模型的任意切換。 容器的好處，就是你不用安裝一堆pip、Conda這類python包管理工具，也不用把你本地環境變量改的亂七八糟，更不用把程序和模型安裝的到處都是占用資源。這些他都幫你管了，你部署即用非常的方便。 下面我們就開始玩大模型吧，對了，有個重要的事情提前說下 你需要提前準備梯子，安裝過程中你的梯子必須保持網絡通暢。 02 用Ollama安裝模型 2.1、安裝Ollama你需要去訪問“https:///”去下載Ollama的客戶端，他現在支持“Linux、MacOs、Windows”，根據你電腦的操作系統選擇下載即可。（我用的是Mac） 載到本地后安裝ollama應用（過程比較簡單，一路默認就行了），安裝完成后你可以在系統托盤中找到Ollama圖標，說明他已經運行了（他沒有圖形界面，用命令行運行） 
2.2、獲取安裝指令Ollama運行后我們就要去下載deepseek-R1模型了，我們還是官網選擇Modle這里有很多的大模型可供選擇，deepseek-R1排在了首位，我們直接點擊進入主題。  進入主題后我們可以看到deepseek提供了很多的版本（數字越大，對顯卡的顯存要求越高），我的電腦是Mac用的集成顯卡，所以我們選一個小版本的7B下載，有4090顯卡的土豪同學隨意。  2.3、安裝R1模型模型安裝后，我們復制指令用來在本地運行deepseek。
下面我們打開終端運行上面的命令，如果是第一次使用該模型，Ollama回去其網站下載后再運行。如果本地已經下載了，大模型就直接運行起來了。 
輸入幾句話試了下，他確實很快就回復我，看來安裝的沒問題。 03、安裝Docker環境命令行交互太不友好了，我們來裝一個操作界面。這里我選擇的是WebUI，我們把他放到Docker這個容器里來管理，不用安裝python的包管理工具，也不用到處找你程序安裝在哪里了，他都幫你管了。 3.1、安裝Docker先從官網 https://www. 下載，選擇你合適你操作系統的版本就行了，下載后直接安裝就行了（按操作執行即可，這里不贅述了） 
3.2、運行Docker環境安裝后運行Docker環境就能啟動Docker，他不僅是系統托盤有個“小鯨魚”圖標，同時他也有界面，你可以看到Docker中安裝了哪些應用程序。 3.3、安裝WebUIDocker裝好后我們來運行WebUI界面，方法也和安裝模型一樣，你可以訪問WebUI在GitHub上的地址來獲取命令。 訪問這個地址：https://github.com/open-webui/open-webui 我們直接讓他在Docker上運行，選擇“If Ollama is on your computer, use this command”  
3.4、啟動WebUI啟動WebUI你先要確保ollama中的deepseek處于運行狀態，你如果不小心關閉了可以使用以下命令重新啟動，并且不要關閉這個窗口。
|
|
|
來自： 重生之都市財尊 > 《DeepSeek》
