別再只知道 Ollama 了，獨家公開，DeepSeek R1 & Janus-Pro 本地部署高級版教程

1、Ollama、LM studio 這種一鍵安裝 gguf 格式模型的軟件，差不多可以實現 2 分鐘完成本地部署

2、Chatbox 、CherryStudio、AnythingLLM 這種客戶端軟件，配合 ollama 可以進行可視化使用，并且添加 RAG 等功能。

今天給大家介紹下如何通過下載模型權重進行部署，包括 DeepSeek-R1 以及最新的 Janus-Pro 都可以按這個方式來部署。由于我們采用 transformers 下載了模型權重的方式部署，理論上所有模型都會支持，屬于比較通用的方法，這個方法的缺點就是沒有額外的加速推理的功能，推理速度會低于 Vllm、SGLang 等推理框架。

掌握了這個方法，你就又比別人更進一步。

一、模型下載

我們推薦國內用戶使用 modelscope 去下載相關模型權重，下載速度更快、更穩定。ms 地址：https://www./organization/deepseek-ai

點擊這個網址，就能看到 DeepSeek 的頁面，紅框里的模型就是我們熟悉的 R1 以及 Janus-Pro 模型，兩者的下載過程是一樣的，這里雨飛就以 Janus-Pro 為例，給大家演示下具體下載過程。

點擊下方網址或者從紅框內容進入，找到 Janus-Pro-1B 模型，打開如下方所示的頁面，點擊如圖所示的「模型文件」按鈕。

網址：https://www./models/deepseek-ai/Janus-Pro-1B

注意: Janus 是多模態的模型，1B 大小的模型顯存占用在 8GB。如果低于 8GB 的，考慮用云服務器，或者去部署 DeepSeek R1 模型。

我們推薦使用 Git 進行下載，這種方式更穩定，也比較常用。Git lfs 是用于下載大型文件必備的軟件，可以根據下面所示的安裝教程去進行安裝：https:///

執行上面命令，會在本地生成一個文件夾，等待下載模型完成。

首先，需要下載 Janus 的項目，網址：https://github.com/deepseek-ai/Janus

點擊右上角的 Code 按鈕，在彈出的對話框中點擊「Download ZIP」，將項目下載到本地，然后解壓縮到一個目錄。

pip install -e .

import torchfrom transformers import AutoModelForCausalLMfrom janus.models import MultiModalityCausalLM, VLChatProcessorfrom janus.utils.io import load_pil_images# specify the path to the modelmodel_path = 'E:\models\Janus-Pro-1B'vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)tokenizer = vl_chat_processor.tokenizervl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(    model_path, trust_remote_code=True)vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()image = 'images\doge.png'question = 'Extract all information from this image and convert them into markdown format.'conversation = [    {        'role': '<|User|>',        'content': f'<image_placeholder>\n{question}',        'images': [image],    },    {'role': '<|Assistant|>', 'content': ''},]

DeepSeek R1 模型，目前只有后綴帶 qwen、llama 的蒸餾模型可以在本地使用 transformers 進行部署，也就是可以參考我們上面的安裝步驟。

以 qwen 為后綴名的示例代碼可以參考這個網站：

https://qwen./zh-cn/latest/getting_started/quickstart.html

下面是我把輸出長度調整到 2048 之后的結果，可以看到 <think>、</think> 的標識符就都出來了。

最后，上面網站的代碼只支持以 qwen 為后綴名的模型，大家可以根據自己的顯存大小去體驗下本地部署。蒸餾出來的模型，效果肯定要比原版的671B的模型差不少，根據我們自己的體驗，要想在本地獲得還不錯的結果，最低選用32b的模型。因此，很多文章說著可以在本地體驗R1模型，但也就是簡單體驗下，32b模型部署至少要32G內存，很多人電腦遠達不到這個配置。