MediaCrawler
70,887
Stars
0
Forks
0
Watchers
0
Open Issues
未知
许可证
Python
语言
创建时间
最近更新
项目能做什么
多平台爬虫工具，支持小红书、抖音、快手、B站、微博、贴吧和知乎的内容与评论抓取。
来源：基于仓库元数据
· 内容以仓库实际 README 为准
使用说明 查看原始 README 原仓库文档
中文使用说明暂未生成。下面保留原仓库 README 摘录，命令与配置均以原文为准。
原始 README 摘录（英文原文，节选前 3000 字符）
# 🔥 MediaCrawler - 自媒体平台爬虫 🕷️ <div align="center"> <sub>📢 首页赞助位虚位以待 · 合作请联系 <a href="mailto:relakkes@gmail.com">relakkes@gmail.com</a></sub> </div> --- <div align="center"> <a href="https://trendshift.io/repositories/8291" target="_blank"> <img src="https://trendshift.io/api/badge/repositories/8291" alt="NanmiCoder%2FMediaCrawler | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/> </a> [](https://atomgit.com/NanmiCoder/MediaCrawler) [](https://github.com/NanmiCoder/MediaCrawler/stargazers) [](https://github.com/NanmiCoder/MediaCrawler/network/members) [](https://github.com/NanmiCoder/MediaCrawler/issues) [](https://github.com/NanmiCoder/MediaCrawler/pulls) [](https://github.com/NanmiCoder/MediaCrawler/blob/main/LICENSE) [](README.md) [](README_en.md) [](README_es.md) </div> > **免责声明：** > > 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，[爬虫违法违规的案件](https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China) <br> > >本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。 > > 点击查看更为详细的免责声明。[点击跳转](#disclaimer) ## 📖 项目简介 一个功能强大的**多平台自媒体数据采集工具**，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。 ### 🔧 技术原理 - **核心技术**：基于 [Playwright](https://playwright.dev/) 浏览器自动化框架登录保存登录态 - **无需JS逆向**：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数 - **优势特点**：无需逆向复杂的加密算法，大幅降低技术门槛 ## ✨ 功能特性 | 平台 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 | | ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- | | 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | | 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅阅读完整原文
商业机会分析 规则生成（AI 未配置）
综合评分 43.0 分。该项目在“个人可实施性”维度得 60 分，“付费可能性”维度得 20.0 分，差异化空间 40.0 分（评分依据见评分卡）。
面向细分需求的二次开发产品
| 产品构想 | 基于 MediaCrawler 的核心能力，聚焦一个更窄的场景（如某平台、某行业）做差异化。 |
| 目标用户 | 该细分场景用户 |
| 难度/周期 | 中 · 2~6 周 |
| 收费模式 | 买断制 / 订阅制 / 广告 |
| 竞争风险 | 细分需求规模需验证 |
| 依据 | AI 推测：基于项目主题标签的判断 |
封装为在线小工具或 API 服务
| 产品构想 | 把项目最常用的一个功能做成网页小工具，靠流量变现或按量计费。 |
| 目标用户 | 搜索引擎带来的长尾用户 |
| 难度/周期 | 低 · 1~3 周 |
| 收费模式 | 免费引流 + 增值功能 / API 按量计费 |
| 竞争风险 | 同质化竞争，需做好 SEO |
| 依据 | AI 推测：基于技术栈与部署特征的判断 |
以上为规则引擎基于仓库公开数据生成的参考结论，包含推测成分，不构成投资或创业承诺；配置 AI 后可获得更深入的分析。
报告会保存到 个人中心
竞品与相似项目 GitHub Search 真实检索
| 项目 | 中文简介 | Stars | 语言 |
|---|---|---|---|
| lewis-007/MediaCrawler | 中文介绍暂未生成 | 508 | Python |
| persist-1/Visual_MediaCrawler | 中文介绍暂未生成 可视化爬虫（支持：哔哩哔哩 | 抖音 | 小红书 | 贴吧 | 微博 | 知乎 | 快手），异步、高效、直观地采集国内主 |
74 | Python |
| jun5764/MediaCrawler-new | 中文介绍暂未生成 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬 |
41 | - |
| mashhoodey123/MediaCrawler | 中文介绍暂未生成 | 41 | Python |
| mgz0227/MediaCrawler | 中文介绍暂未生成 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬 |
41 | Python |
| Bowenwin/MediaCrawler_MCP_Server | 中文介绍暂未生成 MCP_Server for MediaCrawler. To Use MediaCrawler convenientl |
40 | Python |
以上为通过 GitHub 官方 Search API 检索的相似项目，功能差异与优劣势需进一步人工确认，配置 AI 后可生成对比分析。
项目优势与风险
| 技术成熟度 | 创建于 ，最近推送 |
| 社区活跃 | Star 70,887 / Fork 0 / Issue 0（数据支持，可自行核实） |
| 许可证 | 未检测到（需人工确认） |
| 主要风险 | 上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价 |
安装与使用
快速开始（以仓库 README 为准）
git clone https://github.com/NanmiCoder/MediaCrawler.git cd MediaCrawler # 请阅读仓库 README 获取确切安装步骤（依赖、配置、启动命令）
术语说明：Docker＝应用容器（把程序和依赖打包运行）；API Key＝调用外部服务的密钥；Git Clone＝把仓库代码下载到本地。常见错误：API Key 未配置 / 端口占用 / 数据库连接失败，多数项目在 README 的 Troubleshooting 章节有说明。