aici

一个专为研究目的设计的小而强大的LLM推理系统。仅用2k行代码（vLLM的2%）实现与vLLM相当的性能。

社区维护的vLLM在昇腾上的硬件插件

纯 Rust + CUDA LLM 推理引擎——无需 PyTorch，兼容 OpenAI，服务于 Qwen3 到 Kimi-K2

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。