D
dynamo
ai-dynamo/dynamo
数据中心规模的分布式推理服务框架
★7.7kstars
Rust
NOASSERTION
更新: 今天
📋 项目速览
点击展开
这是什么？一个数据与基础设施领域的diffusion/disaggregated-serving工具，用Rust构建、开源
作者是谁？由 ai-dynamo 团队维护，GitHub 7.7K⭐，在 数据与基础设施 分类 3133 个项目中排名第 252
为什么诞生？diffusion在数据与基础设施中的需求持续增长，ai-dynamo发现现有方案不够直观，于是创造了dynamo来降低disaggregated-serving使用门槛。
能干什么？核心场景：kubernetes、llm-inference、omni
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 cargo 安装和编译配置。
🔗 github.com/ai-dynamo/dynamo | 官网 https://docs.nvidia.com/dynamo/latest
🔗 github.com/ai-dynamo/dynamo | 官网 https://docs.nvidia.com/dynamo/latest
标签
diffusiondisaggregated-servingkubernetesllm-inferenceomnirouting-enginerustsglangtensorrt-llmvllm