PowerInfer

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。

统一高效微调100+大语言模型与视觉语言模型（ACL 2024）

Ray 是一个 AI 计算引擎。Ray 包含一个核心分布式运行时和一组用于加速机器学习工作负载的 AI 库。

在云端将任何开源 LLM（如 DeepSeek 和 Llama）作为兼容 OpenAI 的 API 端点运行。