Taste-Bench基准发布：AI智能体长期决策判断力不足

研究者Pan等人发布基准Taste-Bench，用“决策分叉”衡量AI智能体在长期任务中的判断力，即他们所称的taste。该基准包含502道题，取自SWE-bench Pro和METR的MALT等数千次智能体运行记录，每题给出原始任务、分叉前的轨迹和两条可选路径，让模型二选一。 团队测试了Claude、GPT、Grok、DeepSeek、GLM、MiniMax和Mistral等家族的14个当前模型，每题以正常顺序和翻转选项各问一次，并以Qwen3.6-27B为基础。结果显示这些智能体在长期决策判断力上表现不足。基准与代码已公开。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。