C
Curator
NVIDIA-NeMo/Curator
面向大语言模型的可扩展数据预处理与整理工具包
★1.7kstars
Python
Apache-2.0
更新: 今天
📋 项目速览
点击展开
这是什么?一个数据与基础设施领域的data/data-curation工具,用Python构建、开源
作者是谁?由 NVIDIA-NeMo 团队维护,GitHub 1.7K⭐,在 数据与基础设施 分类 3133 个项目中排名第 816
为什么诞生?data在数据与基础设施中的需求持续增长,NVIDIA-NeMo发现现有方案不够直观,于是创造了Curator来降低data-curation使用门槛。
能干什么?核心场景:data-prep、data-preparation、data-processing
怎么用 AI 安装?推荐使用 AI 编码助手根据 GitHub README 自动完成 pip 安装和虚拟环境配置。
🔗 github.com/NVIDIA-NeMo/Curator
🔗 github.com/NVIDIA-NeMo/Curator
标签
datadata-curationdata-prepdata-preparationdata-processingdata-processing-pipelinesdata-qualitydatacurationdatarecipesdeduplicationfast-data-processingfine-tuninglarge-language-modelslarge-scale-data-processingllmllm-data-qualityllmappspythonsemantic-deduplication