TechCrunch · AI· Lucas Ropek·· 3 小时前AI 评分38
Hugging Face 政策负责人：嵌入式 AI 评估器并非易事
Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
AI 导读
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，模型评估仍是一门演进中的科学，结果可复现性和不同评估之间的可比性都存疑，评估方法很快会失效。她认为嵌入式评估器生态需求旺盛，但谁有资格评估哪些任务亟需标准化。评估对象正从模型本身扩展到 harness 与智能体整体，而智能体评估既困难又昂贵。
来源：TechCrunch · AI · techcrunch.com