搜索结果：crawler（20 个）
按分类缩小范围
自托管的抖音、TikTok、B 站数据采集与去水印下载 API，支持 MCP 调用、离线转文字及 Docker 部署。
crawlee
商机 81
面向 Node.js 的网页抓取与浏览器自动化库，支持 JS/TS，便于为 AI、LLM 和 RAG 提取数据。
Scrapegraph-ai
商机 76
基于 AI 的 Python 爬虫工具。
apify-mcp-server
商机 75
Apify MCP 服务端，让 AI Agent 能调用数千个现成爬虫抓取社媒、搜索引擎、电商等网站数据。
maxun
商机 73
将任意网站转化为结构化 API，支持网页数据提取、自动化工作流、搜索与监控。
colly
商机 69
设计优雅、功能强大的 Golang 网络爬虫与数据采集框架。
newspaper
商机 69
面向 Python 3 的新闻抓取、正文提取与文章元数据解析工具库。
geo-seo-claude
商机 68
面向 Claude Code 的 GEO/SEO 工具，为网站提供全方位的 AI 搜索优化方案。
lux
商机 63
使用 Go 开发的高速、简洁的视频下载库和 CLI 命令行工具。
proxy_pool
商机 61
专为网络爬虫设计的 Python 代理 IP 池。
gpt-crawler
商机 61
爬取指定网站生成知识库文件，方便快速构建基于自有网页的自定义 GPT。
crawlab
商机 60
分布式爬虫管理平台，支持任意编程语言和爬虫框架，便于集中管理与调度任务。
webmagic
商机 59
一款可扩展的 Java 网络爬虫框架。
Photon
商机 58
专为开源网络情报（OSINT）分析设计的高性能极速爬虫。
Python
商机 54
实用的 Python 脚本合集，包含模拟登录知乎、爬虫、操作 Excel、公众号及远程开机等功能。
为 AI Agent 打造的开源网页爬虫与信息提取工具，基于 Apache-2.0 协议开源。
EasySpider
商机 47
可视化免代码网页爬虫工具，支持图形化设计与执行自动化采集任务。
anubis
商机 47
通过核验传入的 HTTP 请求来拦截 AI 爬虫。
MediaCrawler
商机 43
多平台爬虫工具，支持小红书、抖音、快手、B站、微博、贴吧和知乎的内容与评论抓取。
shattered-pixel-dungeon
商机 42
开源传统 Roguelike 地牢冒险游戏，拥有随机关卡、敌人和丰富道具。