|
接上文ollama實現本地化大模型部署?；蛟S小伙伴們并不能滿足使用命令行對話的交互方式，那么，可以選擇搭配anythingLLM進行功能拓展。 本文將介紹如何使用ollama和anythingLLM快速搭建部署本地知識庫，全程零代碼、僅需要個人筆記本電腦即可實現。工具簡介  AnythingLLM是一款由Mintplex Labs, Inc開發的開源的一體化AI工具，可實現 RAG（Retrieval-Augmented Generation，檢索增強生成）、AI 代理等功能。簡單易用，功能強大，全程零代碼配置，對硬件要求不高。 ??Windows 桌面端下載地址： https:///download 下面將詳細講解搭建過程，其中，ollama桌面端的安裝和模型下載方法可參考上篇文章，在此不過多贅述。 ??ollama入門教程傳送門： https://mp.weixin.qq.com/s/cryo65AXAdeTlfQHWaNu5A具體步驟 01 按照默認配置安裝anythingLLM   跳過初始化配置，進入主頁。 02 選取和配置大模型，連接使用ollama    當然，也可直接anythingLLM中直接下載和使用可提供支持的大模型，這里選擇使用ollama負責模型的下載管理。需要注意的是，在連接ollama之前，需要先運行和啟動ollama服務，并提前下載好大模型，這里事先已經拉取了llama2-chinese、llama3和qwen，因此出現在下拉列表中。在這里，我們選擇使用llama2-chinese模型。 03 選擇配置embedding模型 在Embedding Provider中，選擇默認的AnythingLLM Embedder。  備注：也可用ollama自行選擇拉取embedding模型。 04 選擇向量數據庫  05 返回主頁，新建工作區 06 配置知識庫 為便于知識庫分類管理，建立一個新的文件夾。 點擊文件上傳。當然，anythingLLM也支持在線網頁解析，在此不做細表。 點擊剛上傳的文檔，選擇“Move to Workspace”，并選擇“Save and Embed”。 功能測試 對比可以看到，回答結果基本正確。結語以上就是使用ollama+anythingLLM快速搭建部署本地知識庫的方法，歡迎大家選取自己感興趣的大模型進行嘗試?？傮w來說，anythingLLM功能全面、強大，可以滿足大部分用戶的需求，上手簡單，交互友好。 END |
|
|
