61 BiomniBench / Biomni-Eval1
生物医学 agent 评测家族:Eval1 确定性判分,DA 用过程级 rubric 评整条分析轨迹。出题方 Phylo 同时开发被测系统 Biomni,两篇论文中未见利益声明。
bench-61 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | BiomniBench / Biomni-Eval1;全称:BiomniBench-DA(数据分析)与 Biomni-Eval1;别名:BiomniBench、BiomniBench-DA、Biomni-Eval1、Biomni Eval1;有歧义、不自动链接:Biomni |
| 家族 | 家族条目:Biomni-Eval1 ;BiomniBench-DA 。边界:家族条目:Eval1 为 10 类任务、确定性判分;DA 为 100 道分析任务、过程级 rubric 加 LLM 评分;两者分数不可同列。 |
| 模型在做什么 | 多步分析与问答(agent) |
| 谁判对错 | 已有参考答案(2 条协议,逐条见下) |
| 领域 | 文本与 agent(次领域:基因组/RNA) |
| 发布方 | Phylo、Stanford University (Biomni project)(多类机构联合) |
| 首次发布 | (依据:Biomni-Eval1 数据集在 Hugging Face 创建) |
| 其他里程碑 | 最早公开证据 (Biomni-Eval1 数据集在 Hugging Face 创建);预印本 v1 (BiomniBench(DA)bioRxiv v1);期刊上线 †(未核实)(Biomni 论文在 Science 发表(含 Eval1 结果)) |
| 最近更新 | ,榜单条目:第三方在 DA 公开 50 题上自报 82.2,并于当日声明评测设置有问题、将重跑。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告新版本或新一轮评测的日期。) |
| 规模 | DA 100 题(50 公开、50 保留);Eval1 公开数据集 433 题、10 类任务。 明细:任务数(BiomniBench-DA) 100;公开任务数(BiomniBench-DA (HF, gated)) 50;题目数(公开数据集)(Biomni-Eval1 (HF)) 433;任务类别(Biomni-Eval1) 10 |
| 状态 | ● 活跃:DA 有第三方横评与自报;Eval1 数据集保持不变 |
| wet lab 更新 | 静态:不做新实验;DA 任务改编自已发表论文,Eval1 答案来自公开数据库与已有基准。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 2 个计入(第三方 2) |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 2 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 61a BiomniBench-DA(过程级评分细则,由模型评分) | 已有参考答案 | — | Biomni(自/三)、OpenScience(自/三)、前沿 LLM(三) | 按细则评整条分析轨迹,比只看最终答案更贴近质量;但评分由模型完成,换外壳的影响大于换模型。 | 能回答:在由已发表论文改编的分析任务上,不同底座与智能体外壳在方法选择、统计与解读上的表现。 | 不能回答:公开题与完整题集的分数不能直接相比,也不能区分相差一两分的头部模型。 |
| 61b Biomni-Eval1(433 题,确定性判分) | 已有参考答案 | — | 暂无已核实的模型 | 未评估 | 能回答:模型给出的基因名或变异标识能否与参考答案精确匹配,得到可复核的逐题正确率。 | 不能回答:分数里有多少来自记忆——题目与答案全部公开,隔离很弱。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:DA:智能体用真实数据复现论文分析,按全轨迹评分;Eval1:GWAS 致病基因、罕见病诊断等短答题。
- 真值:DA 为作者共建的 rubric;Eval1 为基因名、变异号等标准答案。
- 主指标:DA rubric 均分;Eval1 准确率
- 次指标:DA 通过率(≥0.70)
- 版本陷阱:DA 全集 100 题与公开 50 题分数不可比;评分器(Gemini 或 DeepSeek)和底座模型须写明;Eval1 题数有 433 与 443 两说。
当前排名
状态:≠ 不可比
- 指标:各口径分数不同:DA 为 rubric 均分,Eval1 为确定性判分准确率
- 评测集 / 口径:Mixed: BiomniBench-DA full 100 tasks vs public 50 tasks with other judges vs Biomni-Eval1
- 快照日期:
排名行不显示分数:4 个口径,无统一排名
说明:没有官方榜单;DA 全集、公开 50 题与 Eval1 的分数口径各不相同,且出题方与 Biomni 同属一方。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Claude Code + Claude Opus 4.7 | — | 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 | DA rubric 均分(全集 100 题,3 次) | BiomniBench-DA full set, Gemini 3.1 Pro judge | 第三方 | 出处 | 出题方运行;同一模型在 Terminus-2 外壳下为 63.94 | |
| Biomni (DeepSeek V4 Pro) | — | 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 | DA rubric 均分(公开 50 题) | BiomniBench-DA public 50, DeepSeek v4-pro judge | 第三方 | 出处 | 第三方横评,运营方自家智能体居首 | |
| Biomni | — | 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。†(未核实) | Eval1 准确率 | Biomni-Eval1 | 自报 | †(未核实) | 出处 | 开发方自报;数字仅见摘要转述,未回原文核实 |
| OpenScience (GPT-6 Sol)(非本站模型) | — | 不显示:口径不可比:题集、底座模型与评分器不同,排名行不显示分数。 | DA rubric 均分(公开 50 题) | BiomniBench-DA public 50, Gemini 3.1 Pro judge | 自报 | 出处 | 自报;作者声明评测设置有问题、将重跑 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。2 个计入(第三方 2)。
第三方评测(2)
- Biomni:DA 公开 50 题由第三方运行;原论文未测 Biomni;Eval1 自报未核(第三方,置信度中;出处)
- 前沿通用大模型:DA 全集上由出题方运行多个前沿模型与外壳(第三方,置信度高;出处)
局限与注意
- 出题方 Phylo 同时开发被测系统 Biomni,两篇论文中未见利益声明。
- 两套基准口径完全不同:DA 是过程级 rubric 加 LLM 评分,Eval1 是确定性判分,分数不能并列。
- DA 原论文没有测 Biomni 本体;现有 Biomni 的 DA 分数来自运营方自家居首的第三方横评。
- DA 由 LLM 评分(与人工一致率 82%、κ 0.70),头部差距常不到 1 分,落在噪声内。
- Eval1 题目与答案全部公开,且部分来自既有基准,训练泄漏风险高;题数有 433 与 443 两说。
新模型怎么用
Eval1 通过 biomni 包加载并自动判分;DA 公开 50 题在 Hugging Face 申请访问,用论文的 rubric 与评分器评整条轨迹。报告须写明是哪一套、题集(全集或公开 50)、底座模型、智能体外壳、评分器与运行次数。可搭配 BixBench 与 LAB-Bench。
搭配:BixBench · LAB-Bench / LABBench2 · HeurekaBench
来源
- BiomniBench(DA)预印本 v2(预印本)
- DA 公开任务数据集(需申请)(仓库)
- Biomni-Eval1 数据集(仓库)
- Biomni 期刊论文(Science)(期刊)
- Biomni 官方仓库(仓库)
- 第三方横评仓库(DA 公开 50 题)(第三方论文)
- 第三方自报页面(二手)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。