新文心大模型
百度智能云推出的产业级知识增强大模型,支持多模态与自主系统。
Evidently AI 是一个面向 AI 工程团队的开源评估与可观测性平台,聚焦于两个核心任务:对 LLM 应用进行系统性测试,以及对生产环境中的 AI 系统性能进行持续监控。它不绑定特定模型或框架,可集成到现有的开发与运维流程中。
平台提供结构化的评估方法,覆盖生成质量、检索质量、上下文相关性等维度。用户可定义评估标准,通过内置指标或自定义评分器对模型输出进行量化分析。
| 评估维度 | 典型指标 | 适用场景 |
|---|---|---|
| 生成质量 | 语义相似度、文本质量分 | 对话系统、内容生成 |
| 检索质量 | 命中率、MRR | RAG 管道 |
| 上下文相关性 | 忠实度、覆盖度 | 摘要、问答 |
Evidently AI 通过数据漂移检测、目标漂移分析和数据质量检查,帮助团队识别模型上线后的性能衰减。监控对象包括模型输入、输出及中间特征,支持阈值告警与报告导出。
平台生成可视化 HTML 报告,适合团队评审与审计留档。同时提供 Python API,可嵌入 Jupyter Notebook、Airflow、MLflow 等常见工具链,降低引入成本。
项目以开源形式发布,核心功能可本地部署,数据不离开自有环境。对于需要协作界面、集中式仪表盘的团队,官方提供托管版本,功能与开源版保持一致的基础上增加团队管理能力。