F
flashinfer
flashinfer-ai/flashinfer
FlashInfer：用于LLM服务的核函数库
★6.1kstars
Python
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？开源数据与基础设施项目，用Python构建、核心能力在attention/cuda
作者是谁？由 flashinfer-ai 团队维护，GitHub 6.1K⭐，在 数据与基础设施 分类 3133 个项目中排名第 304
为什么诞生？在数据与基础设施领域，attention流程长期存在效率瓶颈，flashinfer-ai团队用flashinfer解决了cuda这一关键环节。
能干什么？核心场景：distributed-inference、gpu、jit
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/flashinfer-ai/flashinfer | 官网 https://flashinfer.ai
🔗 github.com/flashinfer-ai/flashinfer | 官网 https://flashinfer.ai
标签
attentioncudadistributed-inferencegpujitlarge-large-modelsllm-inferencemoenvidiapytorch