A
AutoGPTQ
AutoGPTQ/AutoGPTQ
基于GPTQ算法的易用LLM量化包，提供用户友好的API。
★5.1kstars
Python
MIT
更新: 2天前
📋 项目速览
点击展开
这是什么？一个数据与基础设施领域的deep-learning/inference工具，用Python构建、开源
作者是谁？由 AutoGPTQ 团队维护，GitHub 5.1K⭐，在 数据与基础设施 分类 3133 个项目中排名第 359
为什么诞生？随着deep-learning和inference在数据与基础设施中的普及，AutoGPTQ打造了AutoGPTQ作为一站式解决方案。
能干什么？核心场景：large-language-models、llms、nlp
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/AutoGPTQ/AutoGPTQ
🔗 github.com/AutoGPTQ/AutoGPTQ
标签
deep-learninginferencelarge-language-modelsllmsnlppytorchquantizationtransformertransformers