|
原創(chuàng) 一意AI 一意AI增效家 2024-02-09 02:17 廣東 hi~ 新年快樂呀~ 朋友，祝你越來越好！ 應(yīng)該都到家了吧？ 馬上又到了年輕們最煎熬的時(shí)候了，“啥時(shí)候結(jié)婚？”、“年薪多少啊？”、“二胎快了吧？”、“我兒子都當(dāng)上公司高管了”！ 真真的！不如在家學(xué)習(xí)，干項(xiàng)目！ 雄哥目標(biāo)就是在新年幾天，把知識(shí)圖譜和高級(jí)RAG應(yīng)用干完！ 干完了，我們繼續(xù)干agent！干教育組項(xiàng)目！ 接下來我們會(huì)用到純本地的環(huán)境，做知識(shí)圖譜+RAG應(yīng)用！ 我需要部署一個(gè)本地開源模型，完成任務(wù)！ 但雄哥帶回家的筆記本電腦，沒有顯卡！ 怎么辦？ 剛好qwen發(fā)布了1.5 版本！而且一下更新了：0.5B, 1.8B, 4B, 7B, 14B, 72B 6個(gè)尺寸版本！ 最小的尺寸僅0.5B！ 就是不知能力如何！ 我們先看看他常規(guī)尺寸的數(shù)據(jù)，這么看，各項(xiàng)數(shù)據(jù)，不管放在國內(nèi)外，在開源陣營中，都是非常能打的！  但雄哥本地沒有顯卡，只能用CPU來跑，而且日后接API出來做知識(shí)圖譜和RAG，小尺寸模型才是我的菜！ 來看看小尺寸的表現(xiàn)！  嗯！就它了！ 雄哥本地沒有任何顯卡，只有CPU！到時(shí)跑知識(shí)圖譜，那個(gè)溫度+音浪~ 已經(jīng)有畫面了！ 人的專注力只有10分鐘，那，話不多說！ ① 部署ollama推理環(huán)境！ ② 下載qwen1.5版本模型！(全) ③ 啟動(dòng)推理！跑起來！ 價(jià)值內(nèi)容，僅對(duì)知識(shí)星球會(huì)員開放，被長輩催婚，不如關(guān)門學(xué)習(xí)，快加入星球，一起打卡學(xué)習(xí)吧！ 我們已經(jīng)做了大模型微調(diào)、知識(shí)庫+RAG、數(shù)據(jù)預(yù)處理、langchain+llama_index的內(nèi)容！點(diǎn)擊下方小程序申請(qǐng)加入！ 知識(shí)星球 點(diǎn)擊申請(qǐng)加入知識(shí)星球  小程序 第一部分：部署ollama推理環(huán)境 ollama！是一個(gè)操作簡單的大模型部署工具！可以無縫接入到各大應(yīng)用中！ 當(dāng)然！支持langchain+llama_index！來看看它的優(yōu)勢(shì)！ 運(yùn)行環(huán)境：純本地 支持系統(tǒng)：Mac、linux、win系統(tǒng)的WSL2 算力要求：零！雄哥16G內(nèi)存，0顯存，照樣跑！ 部署方式：一條指令搞掂，無需安裝依賴！ docker：完美使用！ GitHub地址：https://github.com/ollama/ollama 接下來，雄哥用win11系統(tǒng)的WSL和docker兩種方式來部署它！ 如果你是小白，沒關(guān)系，你可以把ollama理解為一個(gè)手機(jī)系統(tǒng)，大模型就是一個(gè)APP！ 只有安裝了系統(tǒng)，我們才能啟動(dòng)一個(gè)APP，一樣道理！ 好！動(dòng)起手來，跟著雄哥把系統(tǒng)部署下來！ 1.1 安裝wsl+docker 是的，雄哥是0基礎(chǔ)教，那一定是從這個(gè)開始的！wsl和docker幾乎是捆綁在一起的！ 首先，我們要先安裝wsl！這是win系統(tǒng)的linux虛擬機(jī)，完全獨(dú)立于win系統(tǒng)！這樣無需安裝雙系統(tǒng)了！ 安裝！對(duì)你日后的AI環(huán)境使用，都有好處，雄哥的使用率極高！ 安裝wsl有自動(dòng)和手動(dòng)兩種，雄哥用自動(dòng)擋，沒成功~ 沒關(guān)系，手動(dòng)安裝也是一眨眼的事！ 現(xiàn)在在開始菜單按鈕右鍵，管理員身份運(yùn)行終端！  輸入以下指令，回車！啟動(dòng)wsl功能 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart 繼續(xù)！輸入以下指令，回車！啟動(dòng)虛擬機(jī)功能！ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 打開電腦的“應(yīng)用商店”，搜索并安裝wsl！  回到剛剛的窗口，看看安裝成功沒！輸入以下指令！回車！ wsl --list --verbose  注意看！星標(biāo)在不在新安裝的這個(gè)版本上！ 如果不在，輸入以下指令，將新安裝的wsl設(shè)置為默認(rèn)版本！ 否則是無法啟動(dòng)的！ wsl --set-default-version Ubuntu-22.04 現(xiàn)在，該安裝docker了！ 在知識(shí)星球會(huì)員盤下載docker后！直接下一步安裝！ 安裝成功后，注意要點(diǎn)設(shè)置！打鉤！  全部搞掂！ 1.2 安裝ollama！ 打開剛剛那個(gè)WSL小企鵝！這是linux和wsl的安裝指令！ 一條搞掂，輸入后回車！ curl https:///install.sh | sh  整個(gè)下載幾分鐘搞掂！因?yàn)樾鄹绫镜氐墓P記本，沒有顯卡，只有CPU，所以它提示我，會(huì)用CPU來運(yùn)行模型！ 沒關(guān)系！ 下載完了，這個(gè)系統(tǒng)就搞掂了！ 之后運(yùn)行模型只需要一條指令！ 是不是很簡單？ 甚至不用安裝依賴！ 上面已經(jīng)安裝好了！不需要再做任何操作了！ 當(dāng)然，你也可以用docker安裝，如果你還想拓展更多花活，你就可以玩docker了，也是一條指令搞掂！ 兩個(gè)系統(tǒng)是獨(dú)立的，一個(gè)在docker，一個(gè)在wsl中！ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama  第二部分：下載模型！（全） 雄哥實(shí)在太愛這個(gè)工具了，下載模型只需要一條指令！無需魔法！ 首先！雄哥要下載qwen1.5版本的模型，ollama專門做了一個(gè)模型商店！ 上面有絕大部分的開源模型！以下是qwen1.5版本倉庫的商店鏈接！ https:///library/qwen/tags  直接在wsl窗口輸入以下指令，回車！ ollama run qwen:0.5b  這是支持的所有開源模型的商店鏈接！ 客觀您慢慢挑~ https:///library 注意！在docker中的操作是完全不同的！ 使用以下命令。 僅 CPU docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 有英偉達(dá)GPU的 安裝 Nvidia 容器工具包。 在 Docker 容器中運(yùn)行 Ollama docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 運(yùn)行模型 現(xiàn)在，您可以在容器內(nèi)運(yùn)行類似 qwen1.5_0.5b 的模型。 docker exec -it ollama ollama run qwen:0.5b 第三部分：啟動(dòng)推理！跑起來！ 跑起來！ 一條指令！ ollama run qwen:0.5b-chat 沒錯(cuò)！還是它！ 如果你下載完，會(huì)自動(dòng)進(jìn)入chat，退出后，也可以用它來啟動(dòng)！ 你有什么問題在，直接在窗口就可以跟它對(duì)話，CPU，也非常快！ 簡單問了兩個(gè)問題！ 問1：樹上有10只鳥，開 槍打死一只，樹上還有幾只鳥？ 答1：當(dāng)開槍打死一只之后，樹上可能會(huì)剩下9只鳥。但請(qǐng)注意，這只是一個(gè)假設(shè)的計(jì)算，并沒有考慮到所有可能的情況。 問2：你是誰 答2：我是來自阿里云的大規(guī)模語言模型——通義千問。我不僅能夠理解和生成高質(zhì)量的文字，而且還能進(jìn)行深度對(duì)話和知識(shí)查詢，為用戶提供更便捷的服務(wù)。 整個(gè)回答，還算簡潔，沒什么多余的話，這只是0.5B的！跑完了這個(gè)，我感覺我的電腦可以跑4B的，16G顯存，馬上下載試試！ 反正一條指令干完所有事，大家也動(dòng)起手來 qwen1.5系列，全系都是32K，真的好評(píng)！ 雄哥好好玩下 后續(xù)我們要用它來部署純本地的LLM，接API來做知識(shí)圖譜+RAG應(yīng)用！ 在跑的時(shí)候，有任何問題，找雄哥的技術(shù)助手—小胖！或在會(huì)員群里聊！ |
|
|
