GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题成本不到 3 美元
一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均单题成本不到 3 美元,整套基准约 116 美元。
推荐理由:这份基准把日常科研计算交给商用智能体实测,并给出各模型得分与单题成本,可对照自身研究流程。
一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均单题成本不到 3 美元,整套基准约 116 美元。
推荐理由:这份基准把日常科研计算交给商用智能体实测,并给出各模型得分与单题成本,可对照自身研究流程。
字节 Seed 团队发现 DeepSeek-V4 系列的长上下文检索准确率会随信息在输入中的位置每隔 4 个 Token 周期性变化,在 128K 大海捞针测试中同一信息换位置后准确率最高相差 40.2 个百分点。
Aleph Alpha 开发基准测试,用 967 个敏感话题测试阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,其自有 AI 评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。
DeepSeek 在知乎独家发布技术长文,首次系统阐释支撑 DeepSeek-V4 全部训练、评测与数据预处理流程的沙盒基础设施 DSec(DeepSeek Elastic Compute),相关技术报告已公开至 arXiv,由 DeepSeek 联合清华大学发布,作者团队超过 130 人,梁文锋位列其中。