跳到正文
热点事件持续更新

Property Finder 修复评测偏差,选出更优模型

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Property Finder 发现,其视觉语言模型评测标签中有 96.8% 直接来自现有模型的预测,而非人工核验,导致替代模型在对比中结构性吃亏。团队重新人工标注 356 张阿联酋图像,改用多标签分类,并在 Amazon Bedrock 上通过进化式提示词优化迭代至 v27,最终选出准确率更高、成本降低 86% 的模型。 据 AWS Machine Learning Blog 称,上述成本与准确率数字为截至 2025 年 12 月美国东部(俄亥俄)区域的估算;Llama 4 Maverick 17B Instruct 的成本按每张图像 9,000 输入 token、200 输出 token 计算。该博客同时说明,评测集包含 256 张开发图像,两个模型的提示词均在这些图像上调优,因此所得分数偏乐观。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AWS Machine Learning Blog
    Property Finder 如何修复评估偏差,在 Amazon Bedrock 上选出更优模型

    Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图像并改用多标签分类,结合进化式提示词优化在 Amazon Bedrock 上迭代至 v27,最终选出准确率更高、成本降低 86% 的模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。