最近,DeepSeek爆火,先進的算法、卓越的能力,表現出眾,其憑一己之力推動國內Ai大模型跨越式發展。作為一款現象級的Ai產品,用戶量暴增,最近服務器又被攻擊,使用DeepSeek,經常出現服務器繁忙,將DeepSeek部署在本地電腦就方便很多。 ![]()
將DeepSeek部署在本地電腦,只需三步即可完成。 一、下載安裝 Ollama 部署DeepSeek要用到 Ollama,它支持多種大模型。 Ollama官網: ![]() 下載安裝Ollama,macOS、Linux 和 Windows都可以下載安裝,這里選用Windows系統。安裝完成,右下角會彈窗自動提示。確認后會自動顯示終端。為了驗證是否安裝成功,在終端輸入“ollama -v”,顯示出類似下面的版本號,就代表安裝成功。 ![]()
二、下載 DeepSeek-R1 1、進入Ollama官網,找到Models。 2、進入就可以看到deepseek-r1模型,如果沒有,在搜索欄搜索即可。 ![]()
3、選擇對應的模型來下載,1.5b、7b、8b、14b、32b、70b或671b,這里有很多版本可選,模型越大,要求電腦內存、顯卡等的配置越高。這臺機子是4060的顯卡,選擇8b的模型。 ![]() ![]()
![]() 5、復制下邊8b的代碼。 ![]() 6、粘貼到PowerShell(管理員)運行框,然后回車。(這里會默認安裝在C盤,注意C盤空間) ![]() 出現下載等待窗口,等待下載完成。 ![]() 7、下載完成后稍微等待,看到success,即部署完成。 ![]()
8、部署完成,send a message,輸入內容即可開始對話。 ![]() 或: ![]() 如果要安裝不同參數模型,比如8b,則在終端輸入“ollama run deepseek-r1:8b”,其他同理。(也就是在剛才的語句最后加上“冒號+參數”)。第一次操作,也可以在選擇模型版本后,直接復制官網中給到的語句(如下圖中所示),保證沒有格式問題。 ![]() 在終端完成輸入后,會出現下載進度條。網速正常的前提下,大約需要至少20-30min。由于不支持斷點續傳,下載過程記得保持網絡連接,否則需要重新開始。 ![]() 進行對話 ![]() 跟R1進行對話,先顯示模型的思考部分,其次是回答部分。 ![]()
![]() 安裝完成后,打開這個頁面說明本地模型已在運行。再點擊右上角的“設置”圖標,進行操作。 ![]() 在RAG Settings中的Embedding Model里,選擇R1模型。其他可以自行設置。 ![]() 之后可以在網頁中進行對話。 ![]()
三、Chatbox前端搭建 通過第二步的操作,已經部署好DeepSeek,但每次使用都要在終端管理員里操作,相當繁瑣。這里可以借助Chatbox,實現網頁或客戶端操作。 1、下載安裝Chatbox Chatbox官網:chatboxai.app/zh 進入官網下載安裝Chatbox客戶端。 ![]() 2、點擊設置,選擇Ollama API ![]() ![]() 4、部署完成,就可以正常使用了。 通過以上三步,DeepSeek就部署在本地電腦上了,有些不方便公開的數據,比如實驗數據,可以通過部署大模型到本地的方式進行處理,不用擔心數據泄露。 DeepSeek 登頂蘋果中國地區和美國地區應用商店下載排行榜,在美區下載榜上超越了 ChatGPT。其推理能力的強大就不多說了,留給大家自行探索。 |
|
來自: 重生之都市財尊 > 《DeepSeek》