OpenLLM

可扩展到数千个微调LLM的多LoRA推理服务器

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。

一个专为研究目的设计的小而强大的LLM推理系统。仅用2k行代码（vLLM的2%）实现与vLLM相当的性能。

服务 AI 应用和模型的最简单方式——构建模型推理 API、任务队列、LLM 应用、多模型管道等！