简介
OpenCompass 是一个专注于大型语言模型（Large Language Models, LLM）及多模态模型评测的开源开放平台，由科研机构与技术社区联合打造，旨在提供公平、透明、可复现的评估体系，帮助开发者、研究者深入理解不同模型的能力表现。平台包含详尽的评测榜单、模型能力维度分析和丰富的数据集资源，让用户能够在统一的框架下对比和研究多种模型的性能与特点。OpenCompass 支持国内外主流大模型的评测与排行，为大模型技术生态的进步提供重要参考。
特点
首先，OpenCompass 提供全面且高质量的评测指标体系，涵盖包括语言理解、知识推理、数学能力、代码生成、指令遵从等多个关键维度，利用超过 70 个评测数据集和 30 万道评测题目，对模型能力进行多角度量化评估。其次，平台支持零样本评测、少样本评测和思维链评测等多种评估范式，使得评测结果更加丰富且具有实用指导意义。再者，OpenCompass 支持包括开源模型和 API 模型在内的多种模型接入，覆盖 LLaMA、GPT、Claude、InternLM、Qwen、GLM 等主流模型，打造了一站式评测与对比生态。平台的评价体系统一、可复现，并通过分布式技术提升评测效率，让用户能够高效开展大模型性能分析与对比。
如何使用
要开始使用 OpenCompass，用户可以通过命令行工具或 Python 脚本调用评测框架。首先，在本地机器或集群上准备好运行环境和必要的评测数据集，通过简单的配置与安装步骤将 OpenCompass 工具安装完成。其次，根据指定模型及评测任务配置评测参数，包括评测类型（如零样本或少样本）、输出格式和所使用的数据集等。随后，运行评测任务即可得到综合性评分结果及各个能力维度的详细表现数据。用户也可以将模型提交到平台邮箱，由平台统一纳入评测榜单中，与其他模型在统一基准下进行排名比较。对于想要快速了解已发布的榜单结果的用户，可直接访问 OpenCompass 平台的排行榜模块，查看最新评测排行和各模型能力的数据分布。
价格
OpenCompass 平台本身是开源且免费的评测工具与资源体系，用户可以自由下载、安装并在本地或云端环境中运行评测任务，不存在传统意义上的订阅费用或使用收费。其源码与评测资源均公开，用户可以根据需要自由修改与扩展。虽然平台免费开放，用户在运行评测时可能需要投入自身的计算资源（如 GPU/CPU 时间和存储），这些运行成本取决于用户自己的硬件与云端资源方案。
常见问题
什么是 OpenCompass 的评测榜单？
评测榜单是 OpenCompass 平台对各类模型在统一评测体系下得分的排行结构，展示模型在不同能力维度和综合评分上的表现，帮助用户直观对比模型优劣。
如何将我的模型加入评测？
用户可将模型的存储库地址或标准 API 接口信息发送至指定评测邮箱，由平台统一纳入后续评测流程。目前 OpenCompass 支持多种模型接入方式，包括开源模型代码和 API 调用的闭源模型。
支持哪些评测方式？
OpenCompass 支持多种评测框架，包括零样本评测、少样本评测以及基于思维链的评测方式，还兼容对话式评测与标准文本任务评估。
数据集如何获取？
评测所需的数据集可通过 OpenCompass 提供的自动下载方式获取，也可以根据平台说明手动下载所需数据包进行本地评测使用。
是否支持多模态模型评测？
是的，OpenCompass 不仅支持纯文本大语言模型的评测，同时也扩展了对多模态模型在视觉、理解与推理任务上的评测能力，让用户能够对多模态模型性能进行系统性分析。
