Dify 實(shí)戰(zhàn)：純內(nèi)網(wǎng)1.0+版本，攻克模型工具插件離線安裝難題

1.前言

Dify是一款開源的大語言模型（LLM）應(yīng)用開發(fā)平臺，旨在簡化生成式AI應(yīng)用的開發(fā)、集成和部署過程。它結(jié)合了后端即服務(wù)（Backend as a Service）和LLMOps的理念，為開發(fā)者提供了一個直觀、模塊化且功能豐富的開發(fā)環(huán)境，使非技術(shù)人員也能輕松參與AI應(yīng)用的定義和數(shù)據(jù)運(yùn)營過程。

目前dify 已經(jīng)更新到1.1.3 版本 。其中1.0之后有個較大的變化，總結(jié)了一下有以下特點(diǎn)

其中變化最大的就是插件化的架構(gòu)。 不過這也是很多人吐槽的地方，就是升級了1.0之后很多模型和工具 下載會慢，安裝不了。這個主要是1.0 平臺插件更多是因為插件安裝需要依賴python 的依賴環(huán)境，而不想之前1.0之前的版本鏡像下載后就直接可以使用， 不需要在點(diǎn)擊組件安裝了。因為我們知道python 的依賴環(huán)境很多時候是依賴國外鏡像源，通常情況下我們需要把python 的依賴環(huán)境鏡像源切換到國內(nèi)的鏡像源比如：pip國內(nèi)鏡像地址
阿里云 http://mirrors.aliyun.com/pypi/simple/
中國科技大學(xué) https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清華大學(xué) https://pypi.tuna./simple/

中國科學(xué)技術(shù)大學(xué) http://pypi.mirrors.ustc.edu.cn/simple/

等。這樣能解決一部分問題，但是問題又來了，很多信創(chuàng)網(wǎng)絡(luò)環(huán)境是完全隔離的，這樣在絕對隔絕的內(nèi)網(wǎng)環(huán)境就不能使用dify了。有沒有辦法可以在純內(nèi)網(wǎng)網(wǎng)絡(luò)環(huán)境下面安裝和使用dify1.0版本呢。今天就帶大家實(shí)現(xiàn)純內(nèi)網(wǎng)環(huán)境下安裝模型組件或者第三方工具組件方法。

2.安裝步驟

插件市場下載

點(diǎn)擊右上角插件

打開插件市場

這里選擇一個我們沒有的模型，我選擇阿里通義千問，點(diǎn)擊詳情

進(jìn)入插件下載列表詳細(xì)信息

我們點(diǎn)擊下載，彈出下載對話框選擇本地文件路徑

這樣我們就完成了插件的離線下載。

下載 dify-plugin-repackaging

這里我們?nèi)ithub上查找https://github.com/junjiem/dify-plugin-repackaging?tab=readme-ov-file 開源項目，把項目下載到本地

解壓程序包

因為這個項目使用sh后綴名，并且依賴dify-plugin-linux-amd64-5g ，所以我們就在linux 服務(wù)器上實(shí)現(xiàn)這個編譯這離線打包環(huán)境

把上面2個包復(fù)制到 Linux 服務(wù)器中

復(fù)制dify-plugin-repackaging和插件到linux 環(huán)境

離線重新打包

centos 系統(tǒng)

在當(dāng)前Linux 目錄下執(zhí)行下面命令 (備注目前這個腳本在centos 系統(tǒng)中可以運(yùn)行，如果ubuntu或者debain 需要修改shell 腳本代碼)

cd /home/app/AI/dify-plugin/dify-plugin-repackaging-main
chmod 755 plugin_repackaging.sh
#sudo apt update
#apt install rpm
#sudo apt install -y unzip
./plugin_repackaging.sh local ./langgenius-tongyi_0.0.14.difypkg

通過上述方式完成離線包的打包

ubuntu或者debain系統(tǒng)

這個打包命令和前面的操作步驟類似需要修改plugin_repackaging.sh 腳本

代碼行在111行中修改

修改前

install_unzip(){
	rpms=(`rpm -q unzip`)
	if [ ${#rpms[@]} -ne 1 ]; then
		echo "Installing unzip ..."
		yum -y install unzip
		if [ $? -ne 0 ]; then
			echo "Install unzip failed."
			exit 1
		fi
	fi
}

修改后

install_unzip(){
        rpms=(`rpm -q unzip`)
        if [ ${#rpms[@]} -ne 1 ]; then
                echo "Installing unzip ..."
                #yum -y install unzip
                apt install -y unzip
                if [ $? -ne 0 ]; then
                        echo "Install unzip failed."
                        exit 1
                fi
        fi
}

主要是吧yum -y install unzip 換成 apt install -y unzip

然后執(zhí)行下面命令

cd /home/app/AI/dify-plugin/dify-plugin-repackaging-main
chmod 755 plugin_repackaging.sh
sudo apt update
apt install rpm
sudo apt install -y unzip
./plugin_repackaging.sh local ./langgenius-tongyi_0.0.14.difypkg

完成上述離線包的編譯和打包

下載新離線包

我們在linux 服務(wù)器上把剛才編譯好的離線包打包下載下來。

我們把這個離線包通過 本地上傳方式更新安裝到dify中

新離線包安裝

我們到dify安裝目錄找到.env 文件中

找到FORCE_VERIFYING_SIGNATURE 屬性，把他改成FALSE, PLUGIN_MAX_PACKAGE_SIZE 屬性 改成 524288000 ，NGINX_CLIENT_MAX_BODY_SIZE屬性 改成 524288000 500M

FORCE_VERIFYING_SIGNATURE=false
PLUGIN_MAX_PACKAGE_SIZE=52428800
NGINX_CLIENT_MAX_BODY_SIZE=500M

修改完成后重啟 docker.

登錄dify 平臺 ，點(diǎn)擊左上角“本地插件”

上傳插件并安裝

點(diǎn)擊安裝

我們配置上模型API-key

3.驗證及測試

我們選擇一個聊天對話選擇這個通義模型插件。

以上我們完成了模型插件離線安裝方式。這樣純內(nèi)網(wǎng)環(huán)境（信創(chuàng)環(huán)境）就完全可以通過該方法實(shí)現(xiàn)模型、工具、agent 、擴(kuò)展等插件工具的安裝了

4.參考文獻(xiàn)

主要參考這個開源項目 https://github.com/junjiem/dify-plugin-repackaging?tab=readme-ov-file

感謝junjem大佬的無私奉獻(xiàn)

5.總結(jié)

今天主要帶大家實(shí)現(xiàn)了純內(nèi)網(wǎng)環(huán)境下 Dify 模型工具插件離線安裝的工作流，詳細(xì)介紹了整個工作流的實(shí)現(xiàn)步驟。通過這種方法，純內(nèi)網(wǎng)環(huán)境（信創(chuàng)環(huán)境）完全可以實(shí)現(xiàn)模型、工具、agent、擴(kuò)展等插件工具的安裝。本次安裝過程涉及到不同系統(tǒng)的腳本操作、文件屬性修改以及 Docker 重啟等知識，有一定的復(fù)雜度。但只要按照步驟操作，有一定基礎(chǔ)的開發(fā)者都能夠掌握。感興趣的小伙伴可以參考本文進(jìn)行實(shí)踐，今天的分享就到這里結(jié)束了，我們下個文章見。