Hugging Face政策主管谈AI评测可信度

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，AI 模型评估仍是一门演进中的科学，结果可复现性和不同评估之间的可比性都存疑，评估方法很快会失效。她称，测试需要整合为更一致的科学，行业未来才能依赖它。 她认为嵌入式评估器生态需求旺盛，但谁有资格评估哪些任务亟需标准化。评估对象正从模型本身扩展到 harness 与智能体整体，而智能体评估既困难又昂贵。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。