Ollama

2天前发布 1 0 0

在本地或云端轻松运行和构建开源 AI 模型。

收录时间:
2026-11-15

核心定位

Ollama 是一个面向本地与云端环境的开源大语言模型运行工具。它将模型下载、环境配置、API 服务封装成一套命令行工作流,让开发者无需深入底层推理框架即可启动和管理 Llama、Mistral、Qwen 等主流开源模型。

主要能力

一键式模型管理

Ollama 将模型分发与版本控制简化为类似容器镜像的操作方式:

ollama pull llama3.1
ollama run llama3.1

模型文件采用分层存储与增量更新机制,同一基础架构的不同微调版本可复用公共层,显著降低磁盘占用与下载时间。

本地 API 服务

启动模型后,Ollama 默认在 localhost:11434 暴露兼容 OpenAI 格式的 HTTP API。这意味着现有基于 OpenAI SDK 的应用可以以极小的改动切换至本地模型:

特性 说明
端点兼容 /v1/chat/completions、/v1/embeddings
流式输出 支持 SSE 逐 token 返回
上下文管理 可配置上下文窗口长度
并发控制 支持多请求排队与并行加载

模型定制

Ollama 提供 Modelfile 机制,允许用户基于现有模型定义系统提示词、调整推理参数(temperature、top_p 等)、或挂载 LoRA 适配器。这为特定业务场景的模型微调与行为控制提供了声明式入口。

适用场景

  • 隐私敏感数据:金融、医疗、法务等领域的文本处理无需离开内网
  • 开发与测试:在本地快速验证提示词效果,无需消耗云端 API 额度
  • 离线环境:无网络或带宽受限场景下的模型推理
  • 边缘部署:通过官方提供的部署方案分发至终端设备

系统要求

Ollama 支持 macOS、Linux 与 Windows(通过 WSL2)。硬件需求取决于模型规模:

模型规模 最低内存建议 典型硬件
7B(4-bit 量化) 8 GB 消费级笔记本
13B(4-bit 量化) 16 GB 中端工作站
70B(4-bit 量化) 48 GB+ 多卡服务器

GPU 加速在 NVIDIA(CUDA)与 Apple Silicon(Metal)平台上开箱即用,CPU 推理作为兜底方案可用但速度明显下降。

社区与生态

项目托管于 GitHub,采用 MIT 许可证,核心代码以 Go 编写。模型库由社区持续扩充,覆盖对话、代码生成、嵌入向量、视觉理解等类别。第三方集成包括 LangChain、LlamaIndex、Continue 等开发工具链,以及 Open WebUI 等图形化前端。

快速开始

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# 拉取并运行一个 7B 模型
ollama run qwen2.5:7b

安装后即可通过命令行交互,或直接调用 http://localhost:11434 的 REST API 接入现有应用。对于需要长期运行或多人共享的场景,建议结合 systemd 或容器编排工具进行服务化管理。

数据统计

相关导航

暂无评论

none
暂无评论...