LMCache

面向大语言模型的高吞吐量、内存高效的推理与服务平台

一个GPU集群管理器，用于高性能AI模型服务（vLLM、SGLang）和按需SSH可访问的GPU实例。

纯 Rust + CUDA LLM 推理引擎——无需 PyTorch，兼容 OpenAI，服务于 Qwen3 到 Kimi-K2

用 C++ 和 CUDA 构建你自己的高性能 LLM 推理引擎——vLLM 的简化版本