昆仑万维发布 Matrix-Game 4.0 视频大模型游戏并同步开源
昆仑万维发布 Matrix-Game 4.0,称其为第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源代码、权重与白模。该模型在单张 NVIDIA RTX 5090 上以 480p、60 FPS 运行,端到端延迟低于 150 毫秒,显存峰值 18.5 GiB。
推荐理由:原文给出单卡 480p 60 FPS 与低于 150 毫秒延迟的硬指标,读者可据此判断视频世界模型能否真正本地实时运行。
昆仑万维发布 Matrix-Game 4.0,称其为第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源代码、权重与白模。该模型在单张 NVIDIA RTX 5090 上以 480p、60 FPS 运行,端到端延迟低于 150 毫秒,显存峰值 18.5 GiB。
推荐理由:原文给出单卡 480p 60 FPS 与低于 150 毫秒延迟的硬指标,读者可据此判断视频世界模型能否真正本地实时运行。
Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,可在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放在同一个共享上下文窗口中运行,无需工具调用或外部模型,能实时生成连续视频并即时响应新指令而无需重启。
可灵发布 Kling 4.0 大版本更新,主打真实、可控、专业,将于 10 月正式上线,Kling 4.0 Flash 已于 9 月 28 日开放小范围体验。
Runway 公开了其实时视频生成研究,用户不再输入提示词后等待成片,而是边描述边以流式方式生成视频,目标是尽量缩短首帧时间。该方案基于 GWM-1 逐帧生成,可接受镜头运动、机器人指令或音频作为控制信号,并沿用 Gen-4.5;Runway 称实时生成能减少等待并降低 GPU 成本。
生数科技发布Vidu S2模型,包含S2-Avatar和S2-Editing两个细分模型,发布当天全量开放。S2-Editing可对正在播放的视频实时换装、换角色、换背景和换风格,S2-Avatar将实时输出分辨率从540p提升到720p,并支持互动中接收参考图执行动作。
推荐理由:生数科技在两个月内完成从S1到S2的迭代,读者可借此了解实时视频编辑与空间视频的当前进展。
智象未来(HiDream.ai)发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0(简称 HD-V1),支持文本、图片、视频等多种模态输入,可一键直出 5–20 秒 1080p 视频。
Suno 发布新模型家族 Suno v6,称其使用来自 Warner Music Group、BMG、Believe 等音乐厂牌和发行商的授权数据开发,且未使用训练旧版模型的数据。
李飞飞创办的 World Labs 发布 3D 世界模型 Atlas,官方演示中只用 3 到 5 台普通手机和运动相机拍摄,就能生成传统需要 60 台设备阵列才能完成的子弹时间环绕视角。
推荐理由:原文用子弹时间演示说明稀疏视角重建三维场景的路线,读者可据此理解世界模型与视频生成模型的差异。
李飞飞创办的 World Labs 发布多模态世界模型 Atlas,官方称其从零预训练,可原生处理文本、图像、视频、相机位姿与 3D 深度信息,在同一模型中完成世界生成、空间重建和时空模拟。
推荐理由:Atlas 把相机位姿作为原生输入并支持稀疏视角重建,读者可据此判断世界模型在具身智能数据生成上的位置。
Runway 发布 Solaris,这是其称为 Interface World Models 的新类别中的首个模型,不运行代码而是随交互逐帧生成用户界面,以 720p 渲染并响应点击、拖拽或语音指令。