ColossalAI

DeepSpeed 是一个深度学习优化库，使分布式训练和推理变得简单、高效且有效。

用 C++ 和 CUDA 构建你自己的高性能 LLM 推理引擎——vLLM 的简化版本

Python + 推理 - Python中的模型部署库。有史以来最简单的模型推理服务器。

在 1 个或 10,000+ 个 GPU 上预训练、微调任意大小的 AI 模型，无需更改代码。