vllm-ascend

一个专为研究目的设计的小而强大的LLM推理系统。仅用2k行代码（vLLM的2%）实现与vLLM相当的性能。

AICI：提示作为（Wasm）程序

JetStream 是一个面向 XLA 设备（从 TPU 开始，未来支持 GPU——欢迎提交 PR）的 LLM 推理引擎，针对吞吐量和内存进行了优化。

预测性和生成式AI的生产框架。一行代码将任何模型作为API提供服务，具有OpenAI/Anthropic/Ollama兼容端点、内置聊天UI和原生MCP。