mistral-inference

Ray 是一个 AI 计算引擎。Ray 包含一个核心分布式运行时和一组用于加速机器学习工作负载的 AI 库。

在云端将任何开源 LLM（如 DeepSeek 和 Llama）作为兼容 OpenAI 的 API 端点运行。

用于本地部署的高速大语言模型服务

服务 AI 应用和模型的最简单方式——构建模型推理 API、任务队列、LLM 应用、多模型管道等！