N
nano-vllm
GeeeekExplorer/nano-vllm
Nano vLLM
★14.9kstars
Python
MIT
更新: 今天
📋 项目速览
点击展开
这是什么？用Python构建、打造开源数据与基础设施项目，专注deep-learning和inference方向
作者是谁？由 GeeeekExplorer 团队维护，GitHub 14.9K⭐，在 数据与基础设施 分类 3133 个项目中排名第 123
为什么诞生？deep-learning在数据与基础设施中的需求持续增长，GeeeekExplorer发现现有方案不够直观，于是创造了nano-vllm来降低inference使用门槛。
能干什么？核心场景：llm、nlp、pytorch
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/GeeeekExplorer/nano-vllm
🔗 github.com/GeeeekExplorer/nano-vllm
标签
deep-learninginferencellmnlppytorchtransformer