核心定位
Ollama 是一个面向本地与云端环境的开源大语言模型运行工具。它将模型下载、环境配置、API 服务封装成一套命令行工作流,让开发者无需深入底层推理框架即可启动和管理 Llama、Mistral、Qwen 等主流开源模型。
主要能力
一键式模型管理
Ollama 将模型分发与版本控制简化为类似容器镜像的操作方式:
ollama pull llama3.1
ollama run llama3.1
模型文件采用分层存储与增量更新机制,同一基础架构的不同微调版本可复用公共层,显著降低磁盘占用与下载时间。
本地 API 服务
启动模型后,Ollama 默认在 localhost:11434 暴露兼容 OpenAI 格式的 HTTP API。这意味着现有基于 OpenAI SDK 的应用可以以极小的改动切换至本地模型:
| 特性 | 说明 |
|---|---|
| 端点兼容 | /v1/chat/completions、/v1/embeddings |
| 流式输出 | 支持 SSE 逐 token 返回 |
| 上下文管理 | 可配置上下文窗口长度 |
| 并发控制 | 支持多请求排队与并行加载 |
模型定制
Ollama 提供 Modelfile 机制,允许用户基于现有模型定义系统提示词、调整推理参数(temperature、top_p 等)、或挂载 LoRA 适配器。这为特定业务场景的模型微调与行为控制提供了声明式入口。
适用场景
- 隐私敏感数据:金融、医疗、法务等领域的文本处理无需离开内网
- 开发与测试:在本地快速验证提示词效果,无需消耗云端 API 额度
- 离线环境:无网络或带宽受限场景下的模型推理
- 边缘部署:通过官方提供的部署方案分发至终端设备
系统要求
Ollama 支持 macOS、Linux 与 Windows(通过 WSL2)。硬件需求取决于模型规模:
| 模型规模 | 最低内存建议 | 典型硬件 |
|---|---|---|
| 7B(4-bit 量化) | 8 GB | 消费级笔记本 |
| 13B(4-bit 量化) | 16 GB | 中端工作站 |
| 70B(4-bit 量化) | 48 GB+ | 多卡服务器 |
GPU 加速在 NVIDIA(CUDA)与 Apple Silicon(Metal)平台上开箱即用,CPU 推理作为兜底方案可用但速度明显下降。
社区与生态
项目托管于 GitHub,采用 MIT 许可证,核心代码以 Go 编写。模型库由社区持续扩充,覆盖对话、代码生成、嵌入向量、视觉理解等类别。第三方集成包括 LangChain、LlamaIndex、Continue 等开发工具链,以及 Open WebUI 等图形化前端。
快速开始
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
# 拉取并运行一个 7B 模型
ollama run qwen2.5:7b
安装后即可通过命令行交互,或直接调用 http://localhost:11434 的 REST API 接入现有应用。对于需要长期运行或多人共享的场景,建议结合 systemd 或容器编排工具进行服务化管理。
