60 Terminal-Bench-Science
科学家贡献的终端科研工作流:70 题、程序化测试判分,持续发版。总分混合五个学科,生命科学只占 19/70,不能直接读作生物学能力。
bench-60 · 模型在做什么:多步分析与问答(agent) · 谁判对错:已有参考答案 · 文本与 agent · 2026-11 新收录 · 截至 2026-11-18
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | Terminal-Bench-Science;别名:Terminal-Bench Science、TB-Science;有歧义、不自动链接:Terminal-Bench |
| 家族 | 否(与 Terminal-Bench 同一团队,但任务与榜单独立,单列一条。) |
| 模型在做什么 | 多步分析与问答(agent) |
| 谁判对错 | 已有参考答案(1 条协议,逐条见下) |
| 领域 | 文本与 agent |
| 发布方 | Stanford University、Laude Institute(多类机构联合) |
| 首次发布 | (依据:GitHub release v0.1.0) |
| 其他里程碑 | 代码发布 (GitHub release v0.1.0);官方公告 (0.1 版发布公告与榜单) |
| 最近更新 | ,仅维护:主分支持续有任务修复提交,0.2 版仍在推进;最后一个发布版本仍为 v0.1.0。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(0.2 版的投稿截止日(2026-10-05)已过,但未公告发布日期。) |
| 规模 | 0.1 版 70 题,其中生命科学 19 题;五个学科,每题跑 3 次。 明细:任务数(0.1) 70;生命科学任务数(0.1) 19;每题运行次数(0.1 leaderboard) 3 |
| 状态 | ● 活跃:0.1 已发榜,0.2 版在推进中 |
| wet lab 更新 | 静态:不做新实验;任务来自研究者自己的工作流,按产物测试判分。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(榜 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-18 |
协议拆分与读法
同一个 benchmark 名下常有多场规则不同的考试。下表把它拆成 1 条协议,逐条写明谁判对错、在用的模型和这个分数能回答什么。分类口径见怎么给 benchmark 分类。
| 协议 | 谁判对错 | 隔离 | 在用模型(已核实) | 五维要点 | 能回答 | 不能回答 |
|---|---|---|---|---|---|---|
| 60a Terminal-Bench-Science | 已有参考答案 | — | OpenScience(自)、前沿 LLM(榜) | 结果由程序化验证判定,比模型打分可靠;但一个条目把模型、智能体外壳与推理强度混在一起,分数上升很快。 | 能回答:在 70 个终端科研任务上,各「模型+智能体外壳」组合能否产出通过程序化验证的结果。 | 不能回答:单一模型自身的生物分析能力,也不能比较相差几个百分点的条目(70 题误差约 5 个百分点)。 |
在用模型括号内:榜 = 主办方榜单,自 = 开发方自报,三 = 第三方评测;只列已核实的配对。五维 = 真值可靠性、基线状况、指标效度、饱和度、泄漏风险;"未评估"表示该协议尚未完成五维评审。
测什么、怎么测
- 任务:智能体在终端里完成科研工作流(数据分析、模拟、拟合、证明等)并交出可检验的产物。
- 真值:任务作者写的程序化测试与参考解,CI 要求参考解通过。
- 主指标:解决率
- 次指标:按学科拆分的解决率
- 版本陷阱:分数属于具体版本(0.1);条目是“模型+智能体外壳”组合,单次尝试与每题 3 次不可比。
当前排名
状态:▣ 榜单
- 指标:解决率:通过任务自带测试的比例(每题 3 次)
- 评测集 / 口径:Terminal-Bench-Science 0.1 (70 tasks), release leaderboard
- 快照日期:
- 榜单页面
当前第一:Claude Opus 5 + Claude Code,30.0%(解决率:通过任务自带测试的比例(每题 3 次);Terminal-Bench-Science 0.1 (70 tasks), release leaderboard;榜单;)
说明:头条取 0.1 发布榜(2026-08-27);之后榜单已更新,但官方页无法直接读取,后续数字只有二手转引。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Claude Opus 5 + Claude Code | 1 | 30.0% | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), release leaderboard | 榜单 | 出处 | 0.1 发布榜第一 | |
| GPT-5.6 Sol + Codex | 2 | 22.4% | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), release leaderboard | 榜单 | 出处 | — | |
| Claude Fable 5 + Claude Code | 3 | 21.4% | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), release leaderboard | 榜单 | 出处 | — | |
| GPT-6 Astra + Codex | — | 不显示:官方榜单页为前端渲染、未能直接读取,二手转引不作头条。†(未核实) | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), board as snapshotted 2026-09-26 by a third party | 榜单(二手) | †(未核实) | 出处 | 后来的榜单条目,经第三方页面转引 |
| Claude Opus 5.5 + Claude Code | — | 不显示:二手转引,不作头条。†(未核实) | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), board as snapshotted 2026-09-26 by a third party | 榜单(二手) | †(未核实) | 出处 | 后来的榜单条目,经第三方页面转引 |
| OpenScience (GPT-6 Astra)(非本站模型) | — | 不显示:非官方榜单条目,尝试次数不同。 | 解决率:通过任务自带测试的比例(每题 3 次) | Terminal-Bench-Science 0.1 (70 tasks), single attempt, self-reported | 自报 | 出处 | 开发方自报,单次尝试,2 题跑后重判;作者称将重跑 |
排名数据读取于 2026-11-18。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(榜 1)。
官方参赛 / 官方榜单(1)
局限与注意
- 总分混合五个学科,生命科学只占 19/70,不能直接读作生物学能力。
- 条目是模型、智能体外壳与推理强度的组合,换外壳的影响可能大于换模型。
- 70 题每题 3 次,统计误差约 5 个百分点,相差几个点的条目不能排先后。
- 任务、测试与参考解全部公开,只靠 canary 提示训练排除,后续模型可能见过解法。
- 厂商与第三方自报数字常用不同尝试次数或设置,不能与官方榜单直接比较。
新模型怎么用
用 Harbor 框架在容器中跑全部任务,每题 3 次,由任务自带测试判分,可向官方榜提交。报告须写明版本、模型与智能体外壳、推理强度、尝试次数和单任务成本。可搭配 BixBench 看生物数据分析。
搭配:BixBench · BioML-bench · BioMysteryBench
来源
- 0.1 版发布公告与榜单(官方网站)
- 官方仓库(仓库)
- 官方榜单首页(榜单)
- 第三方自报页面(含榜单转引)(二手)
- 厂商自报分数聚合页(二手)
更正记录
无。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。