【原】本地運行 Llama 3，可以中文，但不強

Llama 3 簡介

大家好，我是老章

Meta 發布 Llama 3，大模型開源世界這幾天又熱鬧起來了。

Llama 3 提供兩個版本（8B 和 70B）：

**8B 版本適合在消費級 GPU 上高效部署和開發；

70B 版本則專為大規模 AI 應用設計。

每個版本都包括基礎和指令調優兩種形式。

Meta 官方數據顯示，Llama 3 8B 和 70B 版本在語言（MMLU）、知識（GPQA）、編程（HumanEval）、數學（GSM-8K、MATH）等能力上，Llama 3 幾乎全面領先于同等規模的其他模型。

8B 模型在 MMLU、GPQA、HumanEval 等多項基準上均勝過 Gemma 7B 和 Mistral 7B Instruct。

而 70B 模型則超越了閉源的當紅炸子雞 Claude 3 Sonnet，和谷歌的 Gemini Pro 1.5 打得有來有回。

用 Ollama 本地運行 Llama3

我看了一些文章介紹本地運行Llama方式很奇怪也很麻煩，難道最極簡、省事兒的方式不是Ollama嗎？

本公眾號讀者應該對 Ollama 非常熟悉了，因為介紹過多次。

Ollama 為那些在 macOS、Linux、Windows 上使用 LLM 的開發者提供了一種簡便的解決方案，可以更輕松地將這些模型集成到自己的應用程序中。

Ollama 目前支持了市面上幾乎所有的開源大模型，安裝后均可一個命令本地啟動并運行

下載地址：https:///download

下載后安裝即可，一路下一步，無須多言。

Ollama 支持 Llama 3 的所有模型。

指令調整模型針對對話/聊天用例進行了微調和優化，并且在常見基準測試中優于許多可用的開源聊天模型。

其中：

Instruct針對聊天/對話用例進行了微調。

例子： ollama run llama3  or ollama run llama3:70b

text 預訓練是基礎模型。

例子： ollama run llama3:text  or  ollama run llama3:70b-text

如果個人電腦，顯卡一般就老老實實運行8b版吧

安裝Ollama后在Terminal中執行ollama run llama3:8b

模型下載完成后就可以直接在 Terminal 中聊天了，我的電腦是丐版 MacBook Air M1，推理時相當卡。

Llama 3 支持中文，但是對中文世界還是不太擅長。

我測了一下，感覺7b的能力還不如 Mistral，同樣問題，結果分別如下：

對了 Ollama 還提供 API 接口，開發測試可以使用：

curl -X POST http://localhost:11434/api/generate -d '{  "model": "llama3:8b",  "prompt":"Why is the sky blue?" }'

可能是全網最全的速查表：Python Numpy Pandas Matplotlib 機器學習 ChatGPT等