模型与 Benchmark板块首页
怎么读
怎么给 benchmark 分类一个分数能信到哪一步:真值噪声、简单基线、泄漏与饱和协议索引:113 条协议按谁判对错分组方法与数据:分类口径、收录与停更标准、已知局限
模型与数据
模型索引:112 个模型按领域分组模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…benchmark 的规模、更新与 wet lab 数据
Benchmark:理解状态(表征与排序)
02 ProteinGym09 scIB11 ClinVar hold-out protocol13 CAGI16 GUE + Nucleotide Transform…17 CAFA21 DREAM5 / BEELINE / CausalB…26 FLIP / FLIP234 AbBiBench37 TraitGym38 BEND39 RNAGym45 DART-Eval49 NTv3 Benchmark67 VenusX
Benchmark:预测给定对象的结果
01 CASP03 MoleculeNet04 TDC05 PoseBusters06 CASF-201615 CAMEO22 CAPRI24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles27 Polaris / ASAP / OpenADMET30 PLINDER / PINDER / Runs N'…31 FoldBench33 PoseX35 FLAb / FLAb243 Ginkgo GDPa146 FEP 相对结合自由能基准47 PoseBench / DockGen51 OpenADMET 盲测系列52 Biogen ADME53 UNICORNE-BENCH54 OMol25 + FAIR Chemistry 榜单55 PDBbind-CleanSplit / LP-PD…57 CatPred-DB66 MassSpecGym
Benchmark:提出候选(生成与设计)
19 PMO20 CACHE28 Adaptyv competitions / Ben…36 AIntibody40 MotifBench50 蛋白 motif scaffolding 基准56 Protein Engineering Tourna…
Benchmark:多步分析与问答(agent)
14 PubMedQA18 LAB-Bench / LABBench223 BioASQ29 BixBench42 BioMysteryBench58 ChemBench59 LifeSciBench60 Terminal-Bench-Science61 BiomniBench / Biomni-Eval162 HeurekaBench63 scBench64 ScienceAgentBench65 SciReasoner / Biology-Inst…68 BioDesignBench
Benchmark:已停更
07 USPTO family08 Basenji/Enformer test set10 GuacaMol12 DUD-E / LIT-PCBA32 CrossDocked202041 BioML-bench44 FS-Mol
相邻领域
相邻领域:不在主分类内的评测
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

61 BiomniBench / Biomni-Eval1

整理 2026-11-18 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 协议拆分与读法
  3. 测什么、怎么测
  4. 当前排名
  5. 报告过的模型
  6. 局限与注意
  7. 新模型怎么用
  8. 来源
  9. 更正记录

生物医学 agent 评测家族:Eval1 确定性判分,DA 用过程级 rubric 评整条分析轨迹。出题方 Phylo 同时开发被测系统 Biomni,两篇论文中未见利益声明。

bench-61 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18

概况

字段 内容
名称 / 别名 BiomniBench / Biomni-Eval1;全称:BiomniBench-DA(数据分析)与 Biomni-Eval1;别名:BiomniBench、BiomniBench-DA、Biomni-Eval1、Biomni Eval1;有歧义、不自动链接:Biomni
家族 家族条目:Biomni-Eval1 ;BiomniBench-DA 。边界:家族条目:Eval1 为 10 类任务、确定性判分;DA 为 100 道分析任务、过程级 rubric 加 LLM 评分;两者分数不可同列。
模型在做什么 多步分析与问答(agent)
谁判对错 已有参考答案(2 条协议,逐条见下)
领域 文本与 agent(次领域:基因组/RNA)
发布方 Phylo、Stanford University (Biomni project)(多类机构联合)
首次发布 (依据:Biomni-Eval1 数据集在 Hugging Face 创建)
其他里程碑 最早公开证据 (Biomni-Eval1 数据集在 Hugging Face 创建);预印本 v1 (BiomniBench(DA)bioRxiv v1);期刊上线 †(未核实)(Biomni 论文在 Science 发表(含 Eval1 结果))
最近更新 ,榜单条目:第三方在 DA 公开 50 题上自报 82.2,并于当日声明评测设置有问题、将重跑。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(维护方未公告新版本或新一轮评测的日期。)
规模 DA 100 题(50 公开、50 保留);Eval1 公开数据集 433 题、10 类任务。 明细:任务数(BiomniBench-DA) 100;公开任务数(BiomniBench-DA (HF, gated)) 50;题目数(公开数据集)(Biomni-Eval1 (HF)) 433;任务类别(Biomni-Eval1) 10
状态 ● 活跃:DA 有第三方横评与自报;Eval1 数据集保持不变
wet lab 更新 静态:不做新实验;DA 任务改编自已发表论文,Eval1 答案来自公开数据库与已有基准。
需自补 wet lab 不需要
报告模型数 2 个计入(第三方 2)
当前排名 ≠ 不可比(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-18

协议拆分与读法

同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 2 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。

协议 谁判对错 隔离 在用模型(已核实) 五维要点 能回答 不能回答
61a BiomniBench-DA(过程级评分细则,由模型评分) 已有参考答案 — Biomni(自/三)、OpenScience(自/三)、前沿 LLM(三) 按细则评整条分析轨迹,比只看最终答案更贴近质量;但评分由模型完成,换外壳的影响大于换模型。 能回答:在由已发表论文改编的分析任务上,不同底座与智能体外壳在方法选择、统计与解读上的表现。 不能回答:公开题与完整题集的分数不能直接相比,也不能区分相差一两分的头部模型。
61b Biomni-Eval1(433 题,确定性判分) 已有参考答案 — 暂无已核实的模型 未评估 能回答:模型给出的基因名或变异标识能否与参考答案精确匹配,得到可复核的逐题正确率。 不能回答:分数里有多少来自记忆——题目与答案全部公开,隔离很弱。

在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。

测什么、怎么测

  • 任务:DA:智能体用真实数据复现论文分析,按全轨迹评分;Eval1:GWAS 致病基因、罕见病诊断等短答题。
  • 真值:DA 为作者共建的 rubric;Eval1 为基因名、变异号等标准答案。
  • 主指标:DA rubric 均分;Eval1 准确率
  • 次指标:DA 通过率(≥0.70)
  • 版本陷阱:DA 全集 100 题与公开 50 题分数不可比;评分器(Gemini 或 DeepSeek)和底座模型须写明;Eval1 题数有 433 与 443 两说。

当前排名

状态:≠ 不可比

  • 指标:各口径分数不同:DA 为 rubric 均分,Eval1 为确定性判分准确率
  • 评测集 / 口径:Mixed: BiomniBench-DA full 100 tasks vs public 50 tasks with other judges vs Biomni-Eval1
  • 快照日期:

排名行不显示分数:4 个口径,无统一排名

说明:没有官方榜单;DA 全集、公开 50 题与 Eval1 的分数口径各不相同,且出题方与 Biomni 同属一方。

不可比:下表按条目列出,不排名次。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Claude Code + Claude Opus 4.7 — 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 DA rubric 均分(全集 100 题,3 次) BiomniBench-DA full set, Gemini 3.1 Pro judge 第三方 出处 出题方运行;同一模型在 Terminus-2 外壳下为 63.94
Biomni (DeepSeek V4 Pro) — 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 DA rubric 均分(公开 50 题) BiomniBench-DA public 50, DeepSeek v4-pro judge 第三方 出处 第三方横评,运营方自家智能体居首
Biomni — 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。†(未核实) Eval1 准确率 Biomni-Eval1 自报 †(未核实) 出处 开发方自报;数字仅见摘要转述,未回原文核实
OpenScience (GPT-6 Sol)(非本站模型) — 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 DA rubric 均分(公开 50 题) BiomniBench-DA public 50, Gemini 3.1 Pro judge 自报 出处 自报;作者声明评测设置有问题、将重跑

排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。2 个计入(第三方 2)。

第三方评测(2)

  • Biomni:DA 公开 50 题由第三方运行;原论文未测 Biomni;Eval1 自报未核(第三方,置信度中;出处)
  • 前沿通用大模型:DA 全集上由出题方运行多个前沿模型与外壳(第三方,置信度高;出处)

局限与注意

  1. 出题方 Phylo 同时开发被测系统 Biomni,两篇论文中未见利益声明。
  2. 两套基准口径完全不同:DA 是过程级 rubric 加 LLM 评分,Eval1 是确定性判分,分数不能并列。
  3. DA 原论文没有测 Biomni 本体;现有 Biomni 的 DA 分数来自运营方自家居首的第三方横评。
  4. DA 由 LLM 评分(与人工一致率 82%、κ 0.70),头部差距常不到 1 分,落在噪声内。
  5. Eval1 题目与答案全部公开,且部分来自既有基准,训练泄漏风险高;题数有 433 与 443 两说。

新模型怎么用

Eval1 通过 biomni 包加载并自动判分;DA 公开 50 题在 Hugging Face 申请访问,用论文的 rubric 与评分器评整条轨迹。报告须写明是哪一套、题集(全集或公开 50)、底座模型、智能体外壳、评分器与运行次数。可搭配 BixBench 与 LAB-Bench。

搭配:BixBench · LAB-Bench / LABBench2 · HeurekaBench

来源

  1. BiomniBench(DA)预印本 v2(预印本)
  2. DA 公开任务数据集(需申请)(仓库)
  3. Biomni-Eval1 数据集(仓库)
  4. Biomni 期刊论文(Science)(期刊)
  5. Biomni 官方仓库(仓库)
  6. 第三方横评仓库(DA 公开 50 题)(第三方论文)
  7. 第三方自报页面(二手)

更正记录

无。

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。