58 ChemBench
化学知识与推理问答评测:2,788 道选择与开放题,附人类化学家对照与公开榜单。题目以教科书与考试式问答为主,高分不等于能完成真实化学研究或实验。
bench-58 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | ChemBench;别名:ChemBench-Mini、lamalab-org/chembench;有歧义、不自动链接:ChemBench |
| 家族 | 否(ChemBench-Mini 是同一题库的子集,属同一基准而非家族成员。) |
| 模型在做什么 | 多步分析与问答(agent) |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 文本与 agent(次领域:小分子) |
| 发布方 | Friedrich Schiller University Jena、Helmholtz Institute for Polymers in Energy Applications Jena (HIPOLE Jena)(学术实验室) |
| 首次发布 | (依据:arXiv 2404.01475 v1) |
| 其他里程碑 | 预印本 v1 (arXiv 2404.01475 v1);期刊上线 (Nature Chemistry 在线发表);代码发布 (GitHub 首个 release 对象 v0.2.0) |
| 最近更新 | ,榜单条目:榜单结果数据集更新,当前 2.0.2 版有 68 条记录;题库数据集最近修改于 2026-04-22。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告新版本或新一轮评测的日期。) |
| 规模 | 论文版 2,788 题(选择 2,544、开放 244),Mini 子集 236 题;人类对照 19 人。 明细:题目数(Nature Chemistry 2025) 2,788;其中选择题(Nature Chemistry 2025) 2,544;其中开放题(Nature Chemistry 2025) 244;Mini 子集题目数(ChemBench-Mini) 236;人类化学家对照人数(Nature Chemistry 2025) 19;Hugging Face 数据集行数(HF dataset, 2026-04-22) 2,785 |
| 状态 | ● 活跃:榜单仍接受提交;题库 2026-04 有修改 |
| wet lab 更新 | 静态:不做实验;题目为人工编写或半自动生成,经人工审核。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(榜 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 58a ChemBench | 已有参考答案 | — | 前沿 LLM(通用大模型群体)(榜) | 九成题目是多选,总分还掺进一千道偏好匹配题;榜单头部两条是未核验的自报成绩。 | 能回答:在一套由化学家审过的公开题库上,各代通用大模型的化学知识与计算题正确率处在什么水平。 | 不能回答:化学实操或开放式推理能力(九成是多选),也不能据榜首下结论——头部两条未经核验。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:以文本问答考查化学知识、推理、计算与化学直觉,覆盖本科到研究生课程的主题。
- 真值:人工编写或半自动生成的标准答案,经审核。
- 主指标:答对题目的比例
- 次指标:各主题答对比例;模型自报置信度的校准程度
- 版本陷阱:榜单按结果版本(2.0.0 至 2.0.2)分开;全量与 Mini 子集分数不可混用,须看是否经维护方核验。
当前排名
状态:▣ 榜单
- 指标:总分:答对题目的比例(榜单以百分比显示)
- 评测集 / 口径:ChemBench leaderboard, results version 2.0.2
- 快照日期:
- 榜单页面
排名行不显示分数:头条条目出处不全,排名行不显示分数
说明:榜单接受自行提交,表内最高分是未核验条目,按规则改取已核验第一;各行没有提交日期。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Claude Opus 4.7 | 1 | 不显示:出处不全 | 总分:答对题目的比例(榜单以百分比显示) | ChemBench leaderboard, results version 2.0.2 | 榜单 | —†(未核实) | 出处 | 榜单“最高分”卡片在已核验条目中取第一;原始值 0.7088 |
| Claude Opus 4.8 | 2 | 不显示:出处不全 | 总分:答对题目的比例(榜单以百分比显示) | ChemBench leaderboard, results version 2.0.2 | 榜单 | —†(未核实) | 出处 | 已核验条目 |
| Kimi K2.5(非本站模型) | 3 | 不显示:出处不全 | 总分:答对题目的比例(榜单以百分比显示) | ChemBench leaderboard, results version 2.0.2 | 榜单 | —†(未核实) | 出处 | 已核验条目;非本站模型 |
| NexusSciAgent(非本站模型) | — | 不显示:未核验条目不作头条,改取已核验第一。 | 总分:答对题目的比例(榜单以百分比显示) | ChemBench leaderboard, results version 2.0.2 | 榜单 | —†(未核实) | 出处 | 自行提交,未经维护方核验 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(榜 1)。
官方参赛 / 官方榜单(1)
局限与注意
- 题目以教科书与考试式问答为主,高分不等于能完成真实化学研究或实验。
- 题库与答案公开,只靠 canary 字符串提示训练排除,新模型可能见过题目。
- 榜单接受自行提交,最高分条目未经核验,且混有测试性条目,引用须看核验标记。
- 人类对照只有 19 名化学家,且只答了子集,“超过最好的人类”的结论样本很小。
- 另有同名的 ChemBench4K 等化学基准,引用时须写明出处与版本。
新模型怎么用
用官方 Python 包(或 Inspect AI 日志)跑全量或 Mini 子集,生成报告后可提交到 Hugging Face 榜单。报告须写明结果版本、全量还是 Mini、是否用工具、温度设定以及是否经维护方核验。可搭配 LAB-Bench 看生物侧能力。
搭配:LAB-Bench / LABBench2 · PubMedQA · BioASQ
来源
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。