模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

58 ChemBench

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

化学知识与推理问答评测:2,788 道选择与开放题,附人类化学家对照与公开榜单。题目以教科书与考试式问答为主,高分不等于能完成真实化学研究或实验。

bench-58 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18

概况

字段 内容
名称 / 别名 ChemBench;别名:ChemBench-Mini、lamalab-org/chembench;有歧义、不自动链接:ChemBench
家族 否(ChemBench-Mini 是同一题库的子集,属同一基准而非家族成员。)
模型在做什么 多步分析与问答(agent)
谁判对错 已有参考答案(1 条协议,逐条见下)
领域 文本与 agent(次领域:小分子)
发布方 Friedrich Schiller University Jena、Helmholtz Institute for Polymers in Energy Applications Jena (HIPOLE Jena)(学术实验室)
首次发布 (依据:arXiv 2404.01475 v1)
其他里程碑 预印本 v1 (arXiv 2404.01475 v1);期刊上线 (Nature Chemistry 在线发表);代码发布 (GitHub 首个 release 对象 v0.2.0)
最近更新 ,榜单条目:榜单结果数据集更新,当前 2.0.2 版有 68 条记录;题库数据集最近修改于 2026-04-22。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(维护方未公告新版本或新一轮评测的日期。)
规模 论文版 2,788 题(选择 2,544、开放 244),Mini 子集 236 题;人类对照 19 人。 明细:题目数(Nature Chemistry 2025) 2,788;其中选择题(Nature Chemistry 2025) 2,544;其中开放题(Nature Chemistry 2025) 244;Mini 子集题目数(ChemBench-Mini) 236;人类化学家对照人数(Nature Chemistry 2025) 19;Hugging Face 数据集行数(HF dataset, 2026-04-22) 2,785
状态 ● 活跃:榜单仍接受提交;题库 2026-04 有修改
wet lab 更新 静态:不做实验;题目为人工编写或半自动生成,经人工审核。
需自补 wet lab 不需要
报告模型数 1 个计入(榜 1)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-18

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
58a ChemBench 已有参考答案 — 前沿 LLM(通用大模型群体)(榜) 九成题目是多选,总分还掺进一千道偏好匹配题;榜单头部两条是未核验的自报成绩。 能回答:在一套由化学家审过的公开题库上,各代通用大模型的化学知识与计算题正确率处在什么水平。 不能回答:化学实操或开放式推理能力(九成是多选),也不能据榜首下结论——头部两条未经核验。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:以文本问答考查化学知识、推理、计算与化学直觉,覆盖本科到研究生课程的主题。
  • 真值:人工编写或半自动生成的标准答案,经审核。
  • 主指标:答对题目的比例
  • 次指标:各主题答对比例;模型自报置信度的校准程度
  • 版本陷阱:榜单按结果版本(2.0.0 至 2.0.2)分开;全量与 Mini 子集分数不可混用,须看是否经维护方核验。

当前排名

状态:▣ 榜单

  • 指标:总分:答对题目的比例(榜单以百分比显示)
  • 评测集 / 口径:ChemBench leaderboard, results version 2.0.2
  • 快照日期:
  • 榜单页面

排名行不显示分数:头条条目出处不全,排名行不显示分数

说明:榜单接受自行提交,表内最高分是未核验条目,按规则改取已核验第一;各行没有提交日期。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Claude Opus 4.7 1 不显示:出处不全 总分:答对题目的比例(榜单以百分比显示) ChemBench leaderboard, results version 2.0.2 榜单 —†(未核实) 出处 榜单“最高分”卡片在已核验条目中取第一;原始值 0.7088
Claude Opus 4.8 2 不显示:出处不全 总分:答对题目的比例(榜单以百分比显示) ChemBench leaderboard, results version 2.0.2 榜单 —†(未核实) 出处 已核验条目
Kimi K2.5(非本站模型) 3 不显示:出处不全 总分:答对题目的比例(榜单以百分比显示) ChemBench leaderboard, results version 2.0.2 榜单 —†(未核实) 出处 已核验条目;非本站模型
NexusSciAgent(非本站模型) — 不显示:未核验条目不作头条,改取已核验第一。 总分:答对题目的比例(榜单以百分比显示) ChemBench leaderboard, results version 2.0.2 榜单 —†(未核实) 出处 自行提交,未经维护方核验

排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。1 个计入(榜 1)。

官方参赛 / 官方榜单(1)

局限与注意

  1. 题目以教科书与考试式问答为主,高分不等于能完成真实化学研究或实验。
  2. 题库与答案公开,只靠 canary 字符串提示训练排除,新模型可能见过题目。
  3. 榜单接受自行提交,最高分条目未经核验,且混有测试性条目,引用须看核验标记。
  4. 人类对照只有 19 名化学家,且只答了子集,“超过最好的人类”的结论样本很小。
  5. 另有同名的 ChemBench4K 等化学基准,引用时须写明出处与版本。

新模型怎么用

用官方 Python 包(或 Inspect AI 日志)跑全量或 Mini 子集,生成报告后可提交到 Hugging Face 榜单。报告须写明结果版本、全量还是 Mini、是否用工具、温度设定以及是否经维护方核验。可搭配 LAB-Bench 看生物侧能力。

搭配:LAB-Bench / LABBench2 · PubMedQA · BioASQ

来源

  1. 期刊论文(Nature Chemistry)(期刊)
  2. 原论文预印本(预印本)
  3. 官方仓库(仓库)
  4. 官方题库数据集(仓库)
  5. 官方榜单(榜单)
  6. 榜单结果数据集(榜单)

更正记录

无。

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。