服務器部署開源大模型完整教程 Ollama+Gemma+open

現(xiàn)在開源的大模型其實挺多的，今天搭建Gemma這個谷歌開源的大模型，但是你想搭建別的只要你看完你都會了。

介紹

Ollama：一款可以讓你在本地快速搭建大模型的工具

官網(wǎng)：https:///

github：https://github.com/ollama/ollama

Gemma：谷歌開源的大模型

open-webui：非常不錯的大模型webui

github：https://github.com/open-webui/open-webui

開始搭建

第一步選擇系統(tǒng)版本：

因為大模型需要的GPU來運算，當然其實CPU也可以，但我們今天講的是要用GPU來跑的，所以我們在購買服務器的時候，一定要選擇GPU服務器，然后看看服務器的系統(tǒng)版本對GPU顯卡支持的更好。

這里我選擇的是阿里的Alibaba Cloud Linux 3.2104 LTS 64位

第二步部署Ollama：

部署ollama非常簡單直接輸入：

curl -fsSL https:///install.sh | sh

等待安裝完成后，就如下圖：

你還可以輸入：ollama 看看一些基本操作

因為我們需要開放API，ollama的開放端口是11434，我們在服務器商那邊打開11434端口，然后直接ip:11434進行訪問。

這時候我就發(fā)現(xiàn)了ollama的一個坑，我們在成功啟動ollama的時候就已經(jīng)直接占用了11434端口，但是我們直接訪問發(fā)現(xiàn)是無法訪問的，通過防火墻各種排查發(fā)現(xiàn)是ollama的配置文件里面出現(xiàn)了問題，解決方法如下：

直接輸入：

sudo vi /etc/systemd/system/ollama.service

按i進入插入模式，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”O(jiān)LLAMA_HOST=0.0.0.0:11434″

按ESC再輸入:wq回車保存

我們直接重啟服務器，重啟后輸入：ollama

然后在打開ip:11434就可以直接訪問了

這樣就是成功了

第三步部署：Gemma

gemma是靠ollama來部署的，所以我們直接輸入：

ollama run gemma

耐心等待部署完成，如下圖：

完成后我們可以直接進行提問，這就好啦！

第四步部署：open-webui

因為open-webui是在Docker里面部署的，所以我們需要先部署Docker，因為我是用的阿里云的Alibaba Cloud Linux 3系統(tǒng)，所以我直接是按照阿里云的官方教程來的，建議你們也是按照自己的系統(tǒng)去安裝Docker，我就不過多的說了。

安裝open-webui直接輸入：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果你直接輸入的話你就入坑了，如果你的服務器是國內的話，直接下載ghcr.io的鏡像簡直就是折磨，下一天都不一定下的完，所以我們需要改一下，把ghcr.io改成ghcr.nju.edu.cn再輸入：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

這樣就嘎嘎的快，像上面這樣就成功了

我們再輸入：

sudo docker images

查看一下當前的容器，然后再輸入我們要啟動的容器：

docker run -d ghcr.nju.edu.cn/open-webui/open-webui

如下圖：

我們再把open-webui的端口3000去打開一下，直接訪問IP:3000就可以啦

注冊一個賬號進去

在設置里面看看ollama連接狀態(tài)是成功的就好了，直接用起來吧！