lorax

一个专为研究目的设计的小而强大的LLM推理系统。仅用2k行代码（vLLM的2%）实现与vLLM相当的性能。

针对 Llama 及其变体的高度优化的 LLM 推理加速引擎。

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。

面向大语言模型的高吞吐量、内存高效的推理与服务平台