AnyCrawl

Python 和命令行工具，用于收集网络上的文本和元数据：爬取、抓取、提取，输出为 CSV、JSON、HTML、MD、TXT、XML 格式。

从网站提取数据为LLM就绪的JSON或CSV格式。使用网站爬虫抓取或爬取整个网站

LLM 应用数据框架，构建 RAG Agent、数据连接器和索引查询引擎。

Superduper：用于构建自定义AI应用和代理的端到端框架。