crawl4ai （面向AI的网页爬取与数据提取工具）

{
  "project_name": "Crawl4AI",
  "markdown_guide": "## 项目简介\n\nCrawl4AI 是一个面向 AI Agent 和数据处理管道的网页抓取、结构化提取与搜索工具。它支持将网页内容清洗转换为高质量的 Markdown（适用于 RAG 场景），或提取结构化的 JSON 数据。\n\n项目提供两种使用方式：\n1. **Crawl4AI Cloud**：官方托管 API，自动管理浏览器和代理（每月提供 1,000 免费额度，无需信用卡）。\n2. **开源自建（Self-hosted）**：基于 Apache-2.0 协议开源的底层爬虫引擎，支持通过 Python 库或 Docker 自主部署运行。\n\n---\n\n## 核心功能\n\n- **网页转 Markdown**：抓取目标网页并生成干净、适合 RAG 的 Markdown 文本。\n- **结构化提取**：支持从网页中提取结构化 JSON 数据（`/extract`）。\n- **实时网络搜索**：云端提供 `/search`、`/serp` 与 `/answer` 等接口。\n- **批量任务处理**：支持通过 `/scrape/batch` 和 `/scrape/jobs` 同时处理多个 URL。\n- **MCP 集成**：支持直接接入 Claude Code 等 AI 工具的 MCP（Model Context Protocol）服务。\n- **自建与云端灵活选择**：自建方案完全免费，云端方案开箱即用并托管浏览器与代理。\n\n---\n\n## 适合谁用\n\n- 正在构建 RAG 应用，需要将网页转化为清洗后 Markdown 的 AI 开发者。\n- 开发 AI Agent 并需要网络搜索、内容抓取能力的团队。\n- 需要批量采集网页数据或提取结构化 JSON 的数据工程师。\n\n---\n\n## 安装步骤\n\n### 方式一：本地 Python 安装（开源版）\n\n1. 安装 Python 依赖包：\n```bash\npip install -U crawl4ai\n```\n2. 安装底层所需的浏览器（只需运行一次）：\n```bash\ncrawl4ai-setup        # installs the browser, once\n```\n\n### 方式二：Docker 部署\n\n> 此部分原文未详细列出具体 Docker 命令，请查看原仓库文档（[Self-hosted docs](https://docs.crawl4ai.com)）。\n\n---\n\n## 配置说明\n\n### 1. 云端 API（Crawl4AI Cloud）使用与配置\n\n首先获取 API Key，并将环境变量 `CRAWL4AI_KEY` 设置为你的密钥。\n\n#### cURL 调用示例：\n```bash\ncurl -s https://api.crawl4ai.com/scrape \\\n  -H \"Authorization: Bearer $CRAWL4AI_KEY\" \\\n  -H \"Content-Type: application/json\" \\\n  -d '{\"url\": \"https://news.ycombinator.com\"}' | jq -r .markdown\n```\n\n#### Python 调用云端 API 示例：\n```python\nimport json\nimport os\nfrom urllib.request import Request, urlopen\n\nrequest = Request(\n    \"https://api.crawl4ai.com/scrape\",\n    data=json.dumps({\"url\": \"https://news.ycombinator.com\"}).encode(\"utf-8\"),\n    headers={\n        \"Authorization\": f\"Bearer {os.environ['CRAWL4AI_KEY']}\",\n        \"Content-Type\": \"application/json\",\n    },\n    method=\"POST\",\n)\n\nwith urlopen(request) as response:\n    print(json.load(response)[\"markdown\"])\n```\n\n#### Node.js (18+) 调用示例：\n```javascript\nasync function main() {\n  const key = process.env.CRAWL4AI_KEY;\n  if (!key) throw new Error(\"Set CRAWL4AI_KEY first.\");\n\n  const response = await fetch(\"https://api.crawl4ai.com/scrape\", {\n    method: \"POST\",\n    headers: {\n      Authorization: `Bearer ${key}`,\n      \"Content-Type\": \"application/json\",\n    },\n    body: JSON.stringify({ url: \"https://news.ycombinator.com\" }),\n  });\n\n  if (!response.ok) {\n    throw new Error(`Scrape failed (HTTP ${response.status}): ${await response.text()}`);\n  }\n\n  const { markdown } = await response.json();\n  console.log(markdown);\n}\n\nmain().catch((error) => {\n  console.error(error.message);\n  process.exitCode = 1;\n});\n```\n\n#### 配置 Claude Code MCP：\n```bash\nclaude mcp add --transport http crawl4ai https://api.crawl4ai.com/mcp \\\n  --header \"Authorization: Bearer $CRAWL4AI_KEY\"\n```\n\n### 2. 本地 Python 库直接调用\n\n```python\nimport asyncio\nfrom crawl4ai import AsyncWebCrawler\n\nasync def main():\n    async with AsyncWebCrawler() as crawler:\n        result = await crawler.arun(url=\"https://news.ycombinator.com\")\n        print(result.markdown)\n\nasyncio.run(main())\n```\n\n---\n\n## 常见问题\n\n此部分原文未说明，请查看原仓库。"
}