个人对https://github.com/codecrafters-io/build-your-own-x.git的存档
firecrawl 是一款将整个网站转换为适用于 LLM 的 markdown 或结构化数据的 API 服务，由 Mendable.ai 和 firecrawl 社区构建。firecrawl 使用 Goose 和 Mercury Parser 等开源库进行抓取和分析。它还集成了 LLM（如 GPT-3），用于智能提取和生成 markdown。
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
