跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

19 条精选近 30 天 18 条共收录 137 条

更新

部署工程的精选

今天10月16日周五第 1–19 条
  1. InfoQ 中文78

    阶跃星辰开放 Step 5 Preview 权重,600B 稀疏 MoE 面向长程 Agent

    10 月 15 日,阶跃星辰正式开放 Step 5 Preview 权重,包含 BF16 与 FP8 两个版本,并同步发布技术博客、开源开发工具及部署指南,权重已上线 Hugging Face 和 ModelScope。

    推荐理由:原文披露了 Step 5 Preview 的架构与训练设计,读者可据此判断长程 Agent 在上下文管理上的工程取舍。

  2. InfoQ 中文78

    蚂蚁百灵开源 560B 模型 Ling-3.1-flash,每百万 Token 约 0.19 美元

    10 月 15 日,蚂蚁集团旗下百灵大模型开源 Ling-3.1-flash,权重已在 Hugging Face 和 ModelScope 提供下载。该模型延续 Ling-3.0-flash 的混合线性架构,约 560B 总参数、每 Token 激活约 25B,最高支持 1M 上下文,混合调用价格约每百万 Token 0.19 美元。

    推荐理由:原文给出 560B 总参数、1M 上下文与每百万 Token 0.19 美元的调用价格,读者可据此判断高频业务场景的部署成本。

  3. Microsoft Research62

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明系统

    微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程,在笔记本上每秒证明 720 万至 870 万条处理器指令。

    推荐理由:微软研究院公开 Magnetar 的设计与基准数据,可了解零知识证明在通用程序上的性能与密码学取舍。

10月15日周四
  1. AWS Machine Learning Blog60

    AWS 提出 Trust in Depth:让智能体获得更多自主权而不失控

    AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张在动作可被验证时让智能体自主执行,把人工判断留给真正需要决策的环节。框架按智能体生命周期分为四层:Scope 在运行前界定职责与权限边界,Know 为每个智能体分配独立身份并追踪授权来源,Bound 在运行时于智能体推理之外强制执行策略,Observe 在每次运行后重建其行为并用于改进。

    推荐理由:AWS 高管把 Defense in Depth 的思路搬到智能体治理上,给出可验证的四层框架与配套产品入口。

  2. Latent Space78

    Modal 年化收入达 10 亿美元,完成 15.75 亿美元 D 轮融资

    Modal 年化经常性收入突破 10 亿美元,以 157.5 亿美元估值完成 7.5 亿美元 D 轮融资,由 Accel 领投,用量同比增长超过 15 倍。其 2023 年推出的 Sandboxes 产品目前单独年化收入约 3 亿美元,累计启动近 30 亿个沙箱,可扩展至百万级并发,用例覆盖后台 Agent、强化学习和 vibecoding 平台。

    推荐理由:Modal 以 10 亿美元年化收入和 157.5 亿美元估值完成 D 轮,可对照其沙箱产品三年来的用量增长。

  3. 雷锋网83

    昆仑万维发布 Matrix-Game 4.0 视频大模型游戏并同步开源

    昆仑万维发布 Matrix-Game 4.0,称其为第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源代码、权重与白模。该模型在单张 NVIDIA RTX 5090 上以 480p、60 FPS 运行,端到端延迟低于 150 毫秒,显存峰值 18.5 GiB。

    推荐理由:原文给出单卡 480p 60 FPS 与低于 150 毫秒延迟的硬指标,读者可据此判断视频世界模型能否真正本地实时运行。

10月14日周三
  1. 爱范儿78

    Anthropic 弃用 Git,自研 Scion 版本控制系统

    Anthropic 宣布内部弃用 Git,改用自研代码版本控制系统 Scion。原因是 Claude 写代码速度过快,公司每天合并代码变更从 5 月的约 2500 次涨到 9 月的 30000 次,平均每 2.8 秒合入一次,Git 的本地完整副本设计成为瓶颈。

    推荐理由:Anthropic 内部因 Claude 写代码过快而弃用 Git,自研 Scion 的细节展示了 AI 编程对传统工程工具的冲击。

  2. Latent Space78

    Dyna 联创 Jason Ma 谈 Dyna-2:百万小时人类视频预训练的世界动作模型

    Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界动作模型,该模型在超过一百万小时人类视频上预训练,能预测未来视频并据此生成机器人动作,架构为 diffusion transformer 加 flow matching。

    推荐理由:Dyna 联合创始人详解世界动作模型如何用百万小时人类视频预训练,并给出真实部署与硬件瓶颈的一线判断。

10月13日周二
10月8日周四
  1. The Decoder76

    Zenity Labs 发现 AWS Bedrock AgentCore 漏洞:单个公开智能体可接管同区域全部智能体

    安全公司 Zenity Labs 称,AWS 的 Bedrock AgentCore 存在被其命名为 AgentCorruption 的漏洞链,攻击者只需对一个公开智能体拥有聊天权限,用一条提示词即可接管同一 AWS 账户和区域内的所有 AgentCore 智能体,读取私密对话、源代码和存储的凭证。

    推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条显示,默认权限过宽会让单个公开智能体波及同区域全部智能体。

  2. AWS Machine Learning Blog62

    AWS 上线 Claude Haiku 5.5,成本较 Haiku 4.5 降低约 75%

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,据 Anthropic 介绍它是 Claude 5.5 系列中速度最快、效率最高的模型,面向子智能体和高并发、成本敏感场景,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:AWS 官方给出 Haiku 5.5 的定位、成本变化与接入方式,可据此判断它在多智能体分层中的位置。

  3. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 用九个季度数据说明密钥泄露与代码量同步增长,并给出把检测前移到 push 环节的模型方案。

  4. Microsoft Research66

    微软研究院开源 Agent Lightning v1.0:3500 行轻量级智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量级智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,给出真实 harness 参与 RL 训练的思路与 3500 行代码实现,可迁移到自有智能体训练流程。

9月26日周六
  1. GitHub Blog · AI & ML60

    GitHub Copilot 入门教程:如何用 canvases 构建自定义工作流

    GitHub Copilot 应用中的 canvas 是一种可自定义界面,用户和智能体共享同一份状态,可做成看板、issue 分诊板、发布清单、仪表盘、表单甚至表格。

    推荐理由:原文给出用 /create-canvas 从自然语言描述生成可双向协作界面的完整步骤,可迁移到自定义工作流搭建。

9月25日周五
  1. GitHub Blog · AI & ML60

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体流水线

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分诊并生成漏洞报告。

    推荐理由:GitHub Security Lab 把模糊测试的 harness 编写、覆盖率追踪与崩溃分诊交给 LLM 智能体,读者可了解其任务流设计与安全边界。

9月24日周四
  1. Microsoft Research60

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长电池续航。

    推荐理由:微软研究院系统测量了机器人端侧推理的瓶颈,并给出可复用的 Kubernetes 卸载方案与开源工具链。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley Sky Lab 与 IBM Research 将进化式内核搜索框架 K-Search 扩展到 MLX,新增结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。

    推荐理由:原文给出跨平台内核迁移的具体方法与实测数据,读者可据此判断CUDA经验能否复用到非NVIDIA硬件。