跳到正文

排序怎么算

01

成绩从哪来

全部来自 Epoch AI 的公开评测数据: 既有 Epoch AI 自己实测的评测,也有它收录的第三方评测机构的成绩。厂商在自家网站上公布的分数一概不计。数据每天自动更新一次,打开页面时不会临时去抓。

用到哪些评测、每项测什么、谁出题谁实测,见评测来源。 我们把 29 项评测分进编程、科研、专业办公、知识问答四个领域;拿不准测的是哪类能力的评测只在模型页展示,不计分。

02

哪些模型参加

只比较数据取得时往前 12 个月内上线的模型,更早的模型不参加比较,也不出现在榜上。管理员可以隐藏个别模型,被隐藏的模型同样不参加比较。

同一个模型的不同推理档位(Epoch 数据里的 high、low、xhigh 等版本)合并成一个模型,每项评测取各档位、各评测配置里最好的一次成绩。榜上的「上线日期」是这些版本里最早的一个。

03

把成绩折算成同一种分数

各项评测的单位不同:有的是正确率,有的是 Elo 分,有的是美元。每项评测先在参加比较、且有成绩的模型里算平均和标准差,把每个成绩换成标准分 =(成绩 − 平均)÷ 标准差,并封顶在 ±3,避免一个极端值左右全局。

一项评测要至少有 8 个模型的成绩才计分;样本更少的评测只展示,不计分。

04

按领域平均,再按权重合成

每个领域的分数是这个模型在该领域各项评测标准分的平均;综合分按下面的权重加权:

  • 编程40%
    写代码、修 bug、在终端和真实代码库里完成软件任务
  • 科研25%
    研究级数学、物理难题与科学计算
  • 专业办公20%
    投行、咨询、法律等职业的真实工作成果,操作电脑完成任务
  • 知识问答15%
    事实准确性、专业知识与常识推理

为了好读,页面上显示的分数是 50 + 10 × 加权后的标准分:50 分就是参加比较的模型的平均水平,每高 10 分相当于高出一个标准差。 分数只用来比较这一批模型的相对位置,不同日期之间的分数不宜直接比较。

05

成绩太少的模型暂不排名

综合榜:一个模型要在至少 40% 的计分评测上有成绩,并且四个领域都有成绩,才给名次。领域榜:这个领域至少有 2 项、并覆盖 40% 的评测有成绩。

不满足的放在榜单下方的「暂不排名」,按上线日期从新到旧列出;新模型往往要过几周才有足够的第三方成绩。每个榜单只展示前 30 名。

06

价格

Epoch AI 的数据里没有价格。榜上的缓存、输入、输出价格(人民币 / 百万 Token)由本站逐个对照厂商官网定价页整理:取标准按量计费价,不含批量、优先档和限时折扣;按上下文分档的取最低档;DeepSeek 取高峰时段价;缓存价是命中缓存后的输入价。美元报价按核对时最近一个工作日的中国人民银行人民币汇率中间价折算(2026 年 10 月 16 日核对,1 美元 = 6.7253 元)。没有官方付费 API、已下线或对不上版本的模型显示「—」。价格不影响排名。

数据来源:Epoch AI(CC BY 4.0),本站按公开方法折算排名,不代表 Epoch AI 的观点。