Deepgram将Nova-3移植至AWS Trainium2

Deepgram与AWS FDE团队将Nova-3语音转文本模型移植到AWS Trainium2，并公开了推理优化与成本结果。最终配置在单台EC2 trn2.3xlarge实例上运行8个模型副本。 Deepgram称，在其离线、以吞吐为导向的批处理负载上，该配置每美元处理的音频量比其原有算力方案高11%–70%；该结果按评估时的实例价格计算。 优化涉及将Nova-3移植到AWS Neuron软件栈、后续内核级调优，以及让Deepgram自有模型服务器调用Trainium的数据并行Rust运行时。Deepgram称，这些收益可延伸至在自有VPC内通过Amazon SageMaker AI自托管其模型的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。