跳到正文
10月15日周四
  1. 雷锋网83

    昆仑万维发布 Matrix-Game 4.0 视频大模型游戏并同步开源

    昆仑万维发布 Matrix-Game 4.0,称其为第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源代码、权重与白模。该模型在单张 NVIDIA RTX 5090 上以 480p、60 FPS 运行,端到端延迟低于 150 毫秒,显存峰值 18.5 GiB。

    推荐理由:原文给出单卡 480p 60 FPS 与低于 150 毫秒延迟的硬指标,读者可据此判断视频世界模型能否真正本地实时运行。

10月6日周二
  1. The Decoder65

    Reka AI 发布 190 亿参数全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,可在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一个共享上下文窗口中运行,无需工具调用或外部模型,能实时生成连续视频并即时响应新指令而无需重启。

9月29日周二
9月20日周日
  1. The Decoder60

    Runway 研究实时视频生成:边描述边出流,首帧目标低于 100 毫秒

    Runway 公开了其实时视频生成研究,用户不再输入提示词后等待成片,而是边描述边以流式方式生成视频,目标是尽量缩短首帧时间。该方案基于 GWM-1 逐帧生成,可接受镜头运动、机器人指令或音频作为控制信号,并沿用 Gen-4.5;Runway 称实时生成能减少等待并降低 GPU 成本。

9月16日周三
  1. 量子位78

    生数科技发布Vidu S2,支持实时视频编辑与空间视频

    生数科技发布Vidu S2模型,包含S2-Avatar和S2-Editing两个细分模型,发布当天全量开放。S2-Editing可对正在播放的视频实时换装、换角色、换背景和换风格,S2-Avatar将实时输出分辨率从540p提升到720p,并支持互动中接收参考图执行动作。

    推荐理由:生数科技在两个月内完成从S1到S2的迭代,读者可借此了解实时视频编辑与空间视频的当前进展。

9月15日周二
9月9日周三
9月2日周三
  1. 爱范儿78

    李飞飞 World Labs 发布 3D 世界模型 Atlas

    李飞飞创办的 World Labs 发布 3D 世界模型 Atlas,官方演示中只用 3 到 5 台普通手机和运动相机拍摄,就能生成传统需要 60 台设备阵列才能完成的子弹时间环绕视角。

    推荐理由:原文用子弹时间演示说明稀疏视角重建三维场景的路线,读者可据此理解世界模型与视频生成模型的差异。

  2. 爱范儿82

    World Labs 发布多模态世界模型 Atlas

    李飞飞创办的 World Labs 发布多模态世界模型 Atlas,官方称其从零预训练,可原生处理文本、图像、视频、相机位姿与 3D 深度信息,在同一模型中完成世界生成、空间重建和时空模拟。

    推荐理由:Atlas 把相机位姿作为原生输入并支持稀疏视角重建,读者可据此判断世界模型在具身智能数据生成上的位置。

9月1日周二