T
tokenizers
huggingface/tokenizers
💥 为研究和生产优化的快速最先进分词器
★11.0kstars
Rust
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？一个数据与基础设施领域的bert/gpt工具，用Rust构建、开源
作者是谁？由 huggingface 团队维护，GitHub 11K⭐，在 数据与基础设施 分类 3133 个项目中排名第 172
为什么诞生？随着bert和gpt在数据与基础设施中的普及，huggingface打造了tokenizers作为一站式解决方案。
能干什么？核心场景：language-model、natural-language-processing、natural-language-understanding
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成 cargo 安装和编译配置。
🔗 github.com/huggingface/tokenizers | 官网 https://huggingface.co/docs/tokenizers
🔗 github.com/huggingface/tokenizers | 官网 https://huggingface.co/docs/tokenizers
标签
bertgptlanguage-modelnatural-language-processingnatural-language-understandingnlptransformers