搜索结果：crawler（21 个）
按分类缩小范围
自托管的抖音、TikTok、B 站数据采集与去水印下载 API，支持 MCP 调用、离线转文字及 Docker 部署。
crawlee
综合 80
面向 Node.js 的网页抓取与浏览器自动化库，支持 JS/TS，便于为 AI、LLM 和 RAG 提取数据。
Scrapegraph-ai
综合 75
基于 AI 的 Python 爬虫工具。
moli
综合 74
专为 AI Agent 设计的无头浏览器，基于 Rust 编写，轻量、极速且具备高兼容性。
apify-mcp-server
综合 74
Apify MCP 服务端，让 AI Agent 能调用数千个现成爬虫抓取社媒、搜索引擎、电商等网站数据。
maxun
综合 72
将任意网站转化为结构化 API，支持网页数据提取、自动化工作流、搜索与监控。
colly
综合 68
设计优雅、功能强大的 Golang 网络爬虫与数据采集框架。
newspaper
综合 68
面向 Python 3 的新闻抓取、正文提取与文章元数据解析工具库。
geo-seo-claude
综合 68
面向 Claude Code 的 GEO/SEO 工具，为网站提供全方位的 AI 搜索优化方案。
lux
综合 62
使用 Go 开发的高速、简洁的视频下载库和 CLI 命令行工具。
crawlab
综合 61
分布式爬虫管理平台，支持任意编程语言和爬虫框架，便于集中管理与调度任务。
proxy_pool
综合 60
专为网络爬虫设计的 Python 代理 IP 池。
gpt-crawler
综合 60
爬取指定网站生成知识库文件，方便快速构建基于自有网页的自定义 GPT。
webmagic
综合 59
一款可扩展的 Java 网络爬虫框架。
Photon
综合 58
专为开源网络情报（OSINT）分析设计的高性能极速爬虫。
shattered-pixel-dungeon
综合 56
开源传统 Roguelike 地牢冒险游戏，拥有随机关卡、敌人和丰富道具。
Python
综合 54
实用的 Python 脚本合集，包含模拟登录知乎、爬虫、操作 Excel、公众号及远程开机等功能。
为 AI Agent 打造的开源网页爬虫与信息提取工具，基于 Apache-2.0 协议开源。
EasySpider
综合 47
可视化免代码网页爬虫工具，支持图形化设计与执行自动化采集任务。
anubis
综合 47
通过核验传入的 HTTP 请求来拦截 AI 爬虫。