crawlee

Crawlee——用于 Node.js 的 Web 抓取和浏览器自动化库，可构建可靠的爬虫。支持 JavaScript 和 TypeScript。为 AI、LLM、RAG 或 GPT 提取数据。从网站下载 HTML、PDF、JPG、PNG 等文件。兼容 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。支持有头和无头模式。带代理轮换。