R
RWKV-LM
BlinkDL/RWKV-LM
RWKV（读作RwaKuv）是一种具有出色LLM性能的RNN，也可以像GPT transformer一样直接训练（可并行化）。我们目前处于RWKV-7“Goose”版本。它结合了RNN和transformer的优点——出色的性能、线性时间、恒定空间（无kv缓存）、快速训练、无限上下文长度和免费句子嵌入
★14.6kstars
Python
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？一个模型领域的attention-mechanism/chatgpt工具，用Python构建、开源
作者是谁？由 BlinkDL 团队维护，GitHub 14.6K⭐，在 模型 分类 3201 个项目中排名第 94
为什么诞生？模型领域快速发展，attention-mechanism场景缺乏高效方案，RWKV-LM应运而生，专注于简化chatgpt相关工作流程。
能干什么？核心场景：deep-learning、gpt、gpt-2
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/BlinkDL/RWKV-LM
🔗 github.com/BlinkDL/RWKV-LM
标签
attention-mechanismchatgptdeep-learninggptgpt-2gpt-3language-modellinear-attentionlstmpytorchrnnrwkvtransformertransformers