openlake

面向大语言模型的高吞吐量、内存高效的推理与服务平台

一个高性能的 ML 模型服务框架，提供动态批处理和 CPU/GPU 流水线，以充分利用你的计算资源

纯 Rust + CUDA LLM 推理引擎——无需 PyTorch，兼容 OpenAI，服务于 Qwen3 到 Kimi-K2

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。