本地运行 Llama 3，可以中文，但不强

大家好，我是老章

Meta 发布 Llama 3，大模型开源世界这几天又热闹起来了。

Llama 3 提供两个版本（8B 和 70B）：

**8B 版本适合在消费级 GPU 上高效部署和开发；

70B 版本则专为大规模 AI 应用设计。

每个版本都包括基础和指令调优两种形式。

Meta 官方数据显示，Llama 3 8B 和 70B 版本在语言（MMLU）、知识（GPQA）、编程（HumanEval）、数学（GSM-8K、MATH）等能力上，Llama 3 几乎全面领先于同等规模的其他模型。

8B 模型在 MMLU、GPQA、HumanEval 等多项基准上均胜过 Gemma 7B 和 Mistral 7B Instruct。

而 70B 模型则超越了闭源的当红炸子鸡 Claude 3 Sonnet，和谷歌的 Gemini Pro 1.5 打得有来有回。

我看了一些文章介绍本地运行Llama方式很奇怪也很麻烦，难道最极简、省事儿的方式不是Ollama吗？

本公众号读者应该对 Ollama 非常熟悉了，因为介绍过多次。

Ollama 为那些在 macOS、Linux、Windows 上使用 LLM 的开发者提供了一种简便的解决方案，可以更轻松地将这些模型集成到自己的应用程序中。

Ollama 目前支持了市面上几乎所有的开源大模型，安装后均可一个命令本地启动并运行

下载地址：https://ollama.ai/download

下载后安装即可，一路下一步，无须多言。

Ollama 支持 Llama 3 的所有模型。

指令调整模型针对对话/聊天用例进行了微调和优化，并且在常见基准测试中优于许多可用的开源聊天模型。

其中：

Instruct针对聊天/对话用例进行了微调。

例子： ollama run llama3 or ollama run llama3:70b

text 预训练是基础模型。

例子： ollama run llama3:text or ollama run llama3:70b-text

如果个人电脑，显卡一般就老老实实运行8b版吧

安装Ollama后在Terminal中执行ollama run llama3:8b

模型下载完成后就可以直接在 Terminal 中聊天了，我的电脑是丐版 MacBook Air M1，推理时相当卡。

Llama 3 支持中文，但是对中文世界还是不太擅长。

我测了一下，感觉7b的能力还不如 Mistral，同样问题，结果分别如下：

对了 Ollama 还提供 API 接口，开发测试可以使用：

curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3:8b", "prompt":"Why is the sky blue?" }'

相关推荐