|
我有一名AI助手，名字叫'老六'。為什么呢？是因為它有時候會一本正經的胡說八道。 沒錯，這是大模型的缺點——'幻覺'。所以LLMs+知識庫是解決'幻覺'的方法。 同時對于企業來說，需要考慮信息安全，企業私有的知識庫顯然不能利用公域的大模型。那么搭建一套基于本地大模型的個人/企業知識庫，是一個很好的解決方案。 1. 搭建本地大模型 安裝Ollama 我們先進入Ollama的官網，下載對應操作系統的安裝包。下載完成后，直接安裝即可，沒有任何選項。 https://
拉取大模型 在Ollama的官網上可以進入Models頁面中查看可以下載的模型，其中Meta的Llama2 7b版本需要大概8GB內存就可以跑起來。如果你條件足夠，可以跑13b和70b版本，分別對應16GB和64GB內存。除了Meta的Llama模型，你也可以下載其它的模型。
打開終端，鍵入如下代碼，即可自動下載模型。 ollama run llama2
等待下載完成后，你就可以直接在終端中與大模型進行對話了。怎么樣，如此簡單你就擁有了一個屬于你自己私人的chatAI。 但是不是覺得終端里運行對話不那么好看，你希望在chatGPT那樣的網頁上進行對話。沒問題，讓open WebUI來幫你解決問題。 2. 搭建用戶界面 Open WebUI是一個可擴展的、功能豐富的、用戶友好的自托管網頁用戶界面，旨在完全離線運行。它支持各種LLM運行程序，包括與Ollama和openAI兼容的API。 安裝Docker 在此之前，需要先安裝Docker，它就像一個容器，為每個項目裝載了必備的環境和必要條件。 首先我們去Docker官網，下載Docker Desktop的安裝包，并進行安裝。
安裝完成后，等待程序加載完成，即可進入Docker。如果你是首次使用，則Containers中是沒有任何項目的。 安裝open WebUI 剛才已經裝完ollama以及成功安裝并運行模型后。在終端中運行以下代碼，即可開始安裝WebUI。 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待下載和安裝完成后，進入Docker Desktop中，即可看見安裝成功的WebUI項目。
此時，進入任意瀏覽器中，在地址欄中輸入：http://localhost:3000 即可訪問WebUI。
首次登錄，輸入郵箱密碼注冊，即可登錄。
選擇模型llama2，即可在對話框中輸入文字，開始對話。界面是不是很熟悉，很像chatGPT，用著順手多了。 open WebUI還有很多其它功能，比如它本身自帶RAG?？梢栽趯υ捒蛑休斎搿?”，然后跟上網址，即可訪問網頁的實施信息，并進行內容生成。 還可以上傳文檔，基于文本進行更深層次的知識交互。如果你對知識庫的要求不高，做到這一點以后，基本能滿足大多數個人的需求了。 3. 與知識庫相連 如果你對知識庫交互有更大的需求，可以安裝以下這款應用。 AngthingLLM https:// 這是一個可以基于大模型的知識庫交互軟件，可以應用本地大模型，或調用公域大模型API。知識庫也同樣可以使用本地的，而且幾乎不占用很大的資源。
完成安裝后，先會要求配置大模型。這里可以選擇Ollama的本地模型，選擇Llama2 7b。
然后會讓你選擇嵌入模式和向量數據庫，我們選擇默認的即可，或者接入外部API。
配置完成后，再為你的工作空間起個名字，即可進入AnythingLLM中。
在正式使用前，你需要上傳你的知識文檔，支持多種形式，但圖片形式PDF不可讀取。
最后，你就可以在對話框中，和你的知識進行對話交流了。
這樣，你就擁有了一個本地化的大模型，且能和你自己的知識庫交互，信息安全，內容可靠。還等什么，趕緊配置起來吧。  —— E N D —— 文字：Jason 封面、配圖：GPT4 DALLE3 MJ |
|
|
