S
sentencepiece
google/sentencepiece
用于基于神经网络文本生成的无监督文本分词器。
★12.0kstars
C++
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么？一个数据与基础设施领域的natural-language-processing/neural-machine-translation工具，用C++构建、开源
作者是谁？由 google 团队维护，GitHub 12K⭐，在 数据与基础设施 分类 3133 个项目中排名第 155
为什么诞生？数据与基础设施领域快速发展，natural-language-processing场景缺乏高效方案，sentencepiece应运而生，专注于简化neural-machine-translation相关工作流程。
能干什么？核心场景：word-segmentation
怎么用 AI 安装？推荐使用 AI 编码助手根据 GitHub README 自动完成安装配置和环境搭建。
🔗 github.com/google/sentencepiece
🔗 github.com/google/sentencepiece
标签
natural-language-processingneural-machine-translationword-segmentation