开发与工具

为NVIDIA Dynamo构建经过验证的Kubernetes Runtime

Build a Validated Kubernetes Runtime for NVIDIA Dynamo

NVIDIA Developer Blog发布于 10月31日 1 分钟阅读

来源配图图片仅供信息参考图片仅供参考版权归原作者

摘要

构建AI应用程序的团队需要一条从模型配置到工作推理端点的可重复路径。NVIDIA发电机是一种分布式推理..。构建AI应用程序的团队需要一条从模型配置到工作推理端点的可重复路径。NVIDIA Dynamo是一个分布式推理框架，可在多个GPU工作者之间协调模型服务。在Kubernetes上部署它只是第一步。一个成功的模型部署需要更多：GPU驱动程序、资源分配、调度、联网和监控都必须工作……来源

原始资料

NVIDIA Developer Blog · 中文编译

查看来源原文产品参数、测试条件及最新修订以来源原文为准。