跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

9 条精选近 30 天 9 条共收录 25 条

更新

评测基准的精选

10月15日周四第 1–9 条
  1. The Decoder84

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题成本不到 3 美元

    一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均单题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:这份基准把日常科研计算交给商用智能体实测,并给出各模型得分与单题成本,可对照自身研究流程。

10月13日周二
  1. Latent Space78

    Meta MSL 发布 Muse Wonder 与 Muse Wonder Full 前沿模型

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,前者通过 Meta Model API 和 Muse Code 提供,后者仅面向 Muse Code 订阅用户。

    推荐理由:汇总了 Muse Wonder 双版本的发布细节与多家第三方评测数据,可对照其与 Opus 5.5、GPT-6 系列的位次差异。

10月8日周四
  1. The Decoder77

    Anthropic 发布 Claude Haiku 5.5,价格最高下调 90%

    Anthropic 发布 Claude Haiku 5.5,官方称这是其最快、最便宜的小模型,平均成本比 Haiku 4.5 低约 75%,提示词在 100,000 token 以内的请求价格最高下降 90%,超过该长度的请求价格则是五倍。

    推荐理由:对比 Haiku 4.5 与 GPT-6 Luna 的跑分和每任务成本,可看出小模型降价背后的 token 消耗代价。

10月6日周二
10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评分口径,读者可据此理解 AI 代码审查能力如何被量化比较。

9月23日周三
  1. The Decoder88

    Anthropic 发布 Claude Opus 5.5,性能对标 Fable 5.1 且成本降低约 40%

    Anthropic 发布新系列首个模型 Claude Opus 5.5,称其在多数任务上达到 Claude Fable 5.1 的水平,运行成本比 Opus 5 低约 40%,输出速度提升 30% 以上。

    推荐理由:Anthropic 新模型在价格、token 用量与写作风格上的变化,以及蒸馏防护和 EU AI Act 合规措施,可供读者判断其实际取舍。

9月22日周二
9月19日周六