BentoML

TensorZero是一个开源LLMOps平台，统一了LLM网关、可观测性、评估、优化和实验功能。

RAG（检索增强生成）框架，用于构建模块化、开源的生产级应用程序，由 TrueFoundry 提供

一个高性能的 ML 模型服务框架，提供动态批处理和 CPU/GPU 流水线，以充分利用你的计算资源

预测性和生成式AI的生产框架。一行代码将任何模型作为API提供服务，具有OpenAI/Anthropic/Ollama兼容端点、内置聊天UI和原生MCP。