Mooncake

一个GPU集群管理器，用于高性能AI模型服务（vLLM、SGLang）和按需SSH可访问的GPU实例。

用于动态 GPU 共享及更多场景的虚拟化弹性 KV 缓存

SGLang是一个用于大型语言模型和多模态模型的高性能服务框架。

LMCache：用最快的KV缓存层加速你的LLM。