vllm

SGLang是一个用于大型语言模型和多模态模型的高性能服务框架。

纯 Rust + CUDA LLM 推理引擎——无需 PyTorch，兼容 OpenAI，服务于 Qwen3 到 Kimi-K2

一个专为研究目的设计的小而强大的LLM推理系统。仅用2k行代码（vLLM的2%）实现与vLLM相当的性能。

一个GPU集群管理器，用于高性能AI模型服务（vLLM、SGLang）和按需SSH可访问的GPU实例。