59 LifeSciBench
生命科学研究级开放任务:750 题、专家 rubric 评分,出题方与榜首同属 OpenAI。出题方 OpenAI 同时是被测方,榜首 GPT-Rosalind 也是其模型;论文自行披露了这层机构关系。
bench-59 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | LifeSciBench;别名:Life Sci Bench |
| 家族 | 否(单一题集,没有多个版本或成员。) |
| 模型在做什么 | 多步分析与问答(agent) |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 文本与 agent |
| 发布方 | OpenAI、Tacit Labs(大厂实验室) |
| 首次发布 | †(未核实)(依据:OpenAI 发布公告(经媒体报道核实日期)) 官方页面拒绝抓取,日期取自媒体报道 |
| 其他里程碑 | 预印本 v1 (bioRxiv 预印本 v1);官方公告 †(未核实)(OpenAI 发布公告(经媒体报道核实日期)) |
| 最近更新 | ,论文 v1:预印本上 bioRxiv,给出 5 个模型的成绩;之后未见更新或公开榜单。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告新版本或新一轮评测的日期。) |
| 规模 | 750 道专家任务,173 名出题人,19,020 条 rubric 准则;7 类工作流、7 个领域。 明细:任务数(preprint v1) 750;出题专家人数(preprint v1) 173;rubric 准则条数(preprint v1) 19,020;工作流类别(preprint v1) 7 |
| 状态 | ◐ 低频:只有发布时一次成绩快照,无公开榜单 |
| wet lab 更新 | 静态:不做实验;任务改编自真实研究工作,由专家写参考 rubric。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 2 个计入(自报 2) |
| 当前排名 | ○ 自报(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 59a LifeSciBench(OpenAI) | 已有参考答案 | — | GPT-Rosalind(自)、前沿 LLM(自/三) | 由出题方自行评测,榜首模型与出题方同属一家;评分模型未披露,且评测允许无限制联网。 | 能回答:在 750 道生命科学开放任务上,按专家细则自动评分时,5 个前沿模型的相对排序与强弱分布。 | 不能回答:第三方复跑时排序是否不变,也不对应真实研究中的可用程度——没有人类基线。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:单轮作答真实生命科学研究任务(实验设计、数据解读等),可带附件,允许联网。
- 真值:出题专家写的逐条 rubric,入库需专家一致。
- 主指标:归一化 rubric 分
- 次指标:任务通过率(≥70% 为通过)
- 版本陷阱:部分分与通过率可能分歧;引用须写明是哪一个指标,以及是否带附件、是否联网。
当前排名
状态:○ 自报
- 指标:问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%)
- 评测集 / 口径:LifeSciBench, 750 tasks, single-turn, unrestricted web browsing
- 快照日期:
当前第一:GPT-Rosalind,0.576 (36.1%)(问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%);LifeSciBench, 750 tasks, single-turn, unrestricted web browsing;自报;)。未经独立复现
说明:全部数字出自出题方 OpenAI 的预印本,榜首也是其自家模型;评分器未披露,无独立复跑。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| GPT-Rosalind | 1 | 0.576 (36.1%) | 问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%) | LifeSciBench, 750 tasks, single-turn, unrestricted web browsing | 自报 | 出处 | 出题方 OpenAI 自家模型;评分器模型未披露 | |
| GPT-5.5 | 2 | 0.519 (25.7%) | 问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%) | LifeSciBench, 750 tasks, single-turn, unrestricted web browsing | 自报 | 出处 | 出题方自家通用模型 | |
| Gemini 3.1 Pro | 3 | 0.515 (23.6%) | 问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%) | LifeSciBench, 750 tasks, single-turn, unrestricted web browsing | 第三方 | 出处 | 由出题方 OpenAI 运行 | |
| GPT-5.4 | 4 | 0.479 (20.7%) | 问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%) | LifeSciBench, 750 tasks, single-turn, unrestricted web browsing | 自报 | 出处 | — | |
| Grok 4.3(非本站模型) | 5 | 0.399 (13.0%) | 问题加权归一化 rubric 分;括号内为任务通过率(rubric 分≥70%) | LifeSciBench, 750 tasks, single-turn, unrestricted web browsing | 第三方 | 出处 | 由出题方 OpenAI 运行;非本站模型 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。2 个计入(自报 2)。
开发方按官方口径自报(2)
- GPT-Rosalind:出题方自报,750 题全集;出题方与模型同属 OpenAI(自报,置信度高;出处)
- 前沿通用大模型:GPT-5.5、GPT-5.4 为自报;Gemini 3.1 Pro 由出题方运行(自报,置信度高;出处)
局限与注意
- 出题方 OpenAI 同时是被测方,榜首 GPT-Rosalind 也是其模型;论文自行披露了这层机构关系。
- 自动评分器用的是哪个模型没有披露,与专家抽检的一致性数字也未在正文给出。
- 任务、rubric 与附件未公开,外部无法复跑或核查评分。
- 允许无限制联网,检索与推理能力混在同一分数里;部分答案可能可直接检索到。
- 没有人类专家或无附件基线,分数难以换算成真实研究中的可用程度。
新模型怎么用
任务、rubric 与附件未公开,外部目前无法复跑,只能引用预印本中的数字。引用时须写明指标(归一化分或通过率)、单轮作答、允许联网,并注明出题方与被测模型同属一家、评分器未披露。可对照 LAB-Bench 与 BioMysteryBench。
搭配:LAB-Bench / LABBench2 · BioMysteryBench · BixBench
来源
- 预印本 PDF(开发方托管)(预印本)
- bioRxiv 预印本(预印本)
- 开发方发布公告(公司博客)
- 发布当日的媒体报道(新闻)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。