L
LightLLM
ModelTC/LightLLM
LightLLM是一个基于Python的LLM（大语言模型）推理和服务框架，以其轻量级设计、易于扩展和高性能而著称。
★4.2kstars
Python
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？开源数据与基础设施项目，用Python构建、核心能力在deep-learning/gpt
作者是谁？由 ModelTC 团队维护，GitHub 4.2K⭐，在 数据与基础设施 分类 3133 个项目中排名第 445
为什么诞生？deep-learning在数据与基础设施中的需求持续增长，ModelTC发现现有方案不够直观，于是创造了LightLLM来降低gpt使用门槛。
能干什么？核心场景：llama、llm、model-serving
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/ModelTC/LightLLM
🔗 github.com/ModelTC/LightLLM
标签
deep-learninggptllamallmmodel-servingnlpopenai-triton