Ollama v0.31实测：Gemma 4在Apple Silicon上跑出90%性能提升
Ollama已经从一个"本地跑LLM的小工具"进化成了本地AI部署的事实标准。v0.31.1于2026年6月30日发布，最亮眼的特性是Gemma 4在Apple Silicon上性能提升约90%——零配置，拉下来就能跑。
核心更新速览
Gemma 4 性能暴涨：Google的Gemma 4模型在Apple Silicon（M1/M2/M3/M4）上，推理速度提升约90%。这不是Ollama自己做的优化，而是底层llama.cpp引擎针对Gemma 4架构的专项适配。
Vulkan支持改进：Windows端现在默认使用系统Vulkan loader，不再捆绑私有版本，兼容性更好。
上下文窗口处理：修复了shifted prompts下generation headroom不足的问题，长文本对话更稳定。
实测：Gemma 4 在 M2 Max 上的表现
测试环境：MacBook Pro M2 Max 64GB，macOS 15.5。
# 安装/更新 Ollama
brew install ollama # 或 ollama update
# 拉取 Gemma 4
ollama pull gemma4
# 跑基准测试
ollama run gemma4 "用Python实现一个支持并发的HTTP代理池"
推理速度：约 45 tokens/s（之前版本约 23 tokens/s），提升幅度接近100%。
内存占用：Gemma 4 4B量化版约3.2GB，8B版约5.8GB，M2 Max可以轻松跑8B版本。
首次加载：约8秒（之前约12秒），模型加载也快了。
用Ollama搭建本地Agent
Ollama暴露的是OpenAI兼容API，这意味着任何支持OpenAI的Agent框架都能直接对接：
import openai
client = openai.OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # 任意值即可
)
response = client.chat.completions.create(
model="gemma4",
messages=[
{"role": "system", "content": "你是一个技术研究助手"},
{"role": "user", "content": "分析Ollama v0.31的核心改进"}
]
)
与Hermes Agent集成：在config.yaml中添加Ollama作为provider即可：
providers:
ollama-local:
type: openai
base_url: http://localhost:11434/v1
api_key: ollama
models:
- gemma4
- llama3.3
Ollama vs 云端API：什么时候该用本地？
| 场景 | 推荐方案 | 原因 |
|---|---|---|
| 日常对话/翻译 | 云端API | 速度快，质量高 |
| 敏感数据处理 | 本地Ollama | 数据不出机器 |
| 离线环境 | 本地Ollama | 不依赖网络 |
| Agent工具调用 | 本地Ollama | 延迟低，无配额限制 |
| 复杂推理/编码 | 云端API | 大模型质量更好 |
| 批量处理 | 本地Ollama | 无API费用 |
已知问题和注意事项
Token限制：Ollama默认的上下文窗口是4096 tokens，对Agent场景来说太小了。手动调大：
# 设置环境变量
export OLLAMA_NUM_CTX=32768
# 或在Modelfile中指定
FROM gemma4
PARAMETER num_ctx 32768
并发处理：默认单并发，多请求排队。生产环境需要设置：
export OLLAMA_NUM_PARALLEL=4
模型存储：默认存在 ~/.ollama/models/，磁盘空间不够时需要迁移：
export OLLAMA_MODELS=/data/ollama/models
v0.32前瞻
v0.32.0-rc0已经发布（2026年7月10日），主要改进包括Qwen2.5VL窗口注意力的默认元数据优化，以及Windows端Vulkan loader的进一步兼容性修复。
总结
Ollama v0.31.1是一个值得升级的版本。Gemma 4在Apple Silicon上的90%性能提升不是噱头——它是真金白银的用户体验改善。对于本地部署Agent的开发者来说，Ollama + Gemma 4的组合已经足够胜任大多数工具调用和简单推理任务。
如果你的Agent主要做数据采集、文件处理、API调用这类"执行型"任务，本地Ollama完全可以替代云端API，还能省下一大笔token费用。
参考链接 - Ollama官网 - GitHub Releases - v0.31.1详细更新日志