gpustack

面向大语言模型的高吞吐量、内存高效的推理与服务平台

纯 Rust + CUDA LLM 推理引擎——无需 PyTorch，兼容 OpenAI，服务于 Qwen3 到 Kimi-K2

开放模型引擎（OME）——用于LLM服务、GPU调度和模型生命周期管理的Kubernetes算子。可与SGLang、vLLM、TensorRT-LLM和Trit

SGLang是一个用于大型语言模型和多模态模型的高性能服务框架。