F
FlexLLMGen
FMInference/FlexLLMGen
在单个GPU上运行大型语言模型，面向吞吐量导向的场景。
★9.4kstars
Python
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？用Python构建、打造开源数据与基础设施项目，专注deep-learning和gpt-3方向
作者是谁？由 FMInference 团队维护，GitHub 9.4K⭐，在 数据与基础设施 分类 3133 个项目中排名第 216
为什么诞生？随着deep-learning和gpt-3在数据与基础设施中的普及，FMInference打造了FlexLLMGen作为一站式解决方案。
能干什么？核心场景：high-throughput、large-language-models、machine-learning
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/FMInference/FlexLLMGen
🔗 github.com/FMInference/FlexLLMGen
标签
deep-learninggpt-3high-throughputlarge-language-modelsmachine-learningoffloadingopt