Photon
13,341
Stars
1,693
Forks
328
Watchers
61
Open Issues
GPL-3.0
许可证
Python
语言
2018-03-30
创建时间
2026-10-17
最近更新
项目能做什么
专为开源网络情报(OSINT)分析设计的高性能极速爬虫。
来源:基于仓库元数据
· 内容以仓库实际 README 为准
使用说明 查看原始 README 原仓库文档
中文使用说明暂未生成。下面保留原仓库 README 摘录,命令与配置均以原文为准。
原始 README 摘录(英文原文,节选前 3000 字符)
<h1 align="center">
<br>
<a href="https://github.com/s0md3v/Photon"><img src="https://image.ibb.co/h5OZAK/photonsmall.png" alt="Photon"></a>
<br>
Photon
<br>
</h1>
<h4 align="center">Incredibly fast crawler designed for OSINT.</h4>
<p align="center">
<a href="https://github.com/s0md3v/Photon/releases">
<img src="https://img.shields.io/github/release/s0md3v/Photon.svg">
</a>
<a href="https://pypi.org/project/photon/">
<img src="https://img.shields.io/badge/pypi-@photon-red.svg?style=style=flat-square"
alt="pypi">
</a>
<a href="https://github.com/s0md3v/Photon/issues?q=is%3Aissue+is%3Aclosed">
<img src="https://img.shields.io/github/issues-closed-raw/s0md3v/Photon.svg">
</a>
<a href="https://travis-ci.com/s0md3v/Photon">
<img src="https://img.shields.io/travis/com/s0md3v/Photon.svg">
</a>
</p>
<p align="center">
<a href="https://github.com/s0md3v/Photon/wiki">Photon Wiki</a> •
<a href="https://github.com/s0md3v/Photon/wiki/Usage">How To Use</a> •
<a href="https://github.com/s0md3v/Photon/wiki/Compatibility-&-Dependencies">Compatibility</a> •
<a href="https://github.com/s0md3v/Photon/wiki/Photon-Library">Photon Library</a> •
<a href="#contribution--license">Contribution</a> •
<a href="https://github.com/s0md3v/Photon/projects/1">Roadmap</a>
</p>
### Sponsored By
<div align="center"><a href="https://proxy-seller.com/?utm_source=github&utm_medium=referral&utm_campaign=partner_promo&utm_term=github"><img width="70%" src="https://github.com/user-attachments/assets/60283daf-3a37-42fe-a4d3-11d4846df33b" /></a></div>
### Key Features
#### Data Extraction
Photon can extract the following data while crawling:
- URLs (in-scope & out-of-scope)
- URLs with parameters (`example.com/gallery.php?id=2`)
- Intel (emails, social media accounts, amazon buckets etc.)
- Files (pdf, png, xml etc.)
- Secret keys (auth/API keys & hashes)
- JavaScript files & Endpoints present in them
- Strings matching custom regex pattern
- Subdomains & DNS related data
The extracted information is saved in an organized manner or can be [exported as json](https://github.com/s0md3v/Photon/wiki/Usage#export-formatted-result).

#### Flexible
Control timeout, delay, add seeds, exclude URLs matching a regex pattern and other cool stuff.
The extensive range of [options](https://github.com/s0md3v/Photon/wiki/Usage) provided by Photon lets you crawl the web exactly the way you want.
#### Genius
Photon's smart thread management & refined logic gives you top notch performance.
Still, crawling can be resource intensive but Photon has some tricks up it's sleeves. You can fetch URLs archived by [archive.org](https://archive.org/) to be used as seeds by using `--wayback` option.
#### Plugins
- **[wayback](https://github.com/s0md3v/Photon/wiki/Usage#use-urls-from-archiveorg-as-seeds)**
- **[dnsdumpster](https://github.com/s0md3v/Photon/wiki/Usage#dumping-dns-data)**
- **[E
阅读完整原文
商业机会分析 规则生成(AI 未配置)
综合评分 58.4 分。该项目在“个人可实施性”维度得 60 分,“付费可能性”维度得 15.0 分,差异化空间 100.0 分(评分依据见评分卡)。
面向细分需求的二次开发产品
| 产品构想 | 基于 Photon 的核心能力,聚焦一个更窄的场景(如某平台、某行业)做差异化。 |
| 目标用户 | 该细分场景用户 |
| 难度/周期 | 中 · 2~6 周 |
| 收费模式 | 买断制 / 订阅制 / 广告 |
| 竞争风险 | 细分需求规模需验证 |
| 依据 | AI 推测:基于项目主题标签的判断 |
封装为在线小工具或 API 服务
| 产品构想 | 把项目最常用的一个功能做成网页小工具,靠流量变现或按量计费。 |
| 目标用户 | 搜索引擎带来的长尾用户 |
| 难度/周期 | 低 · 1~3 周 |
| 收费模式 | 免费引流 + 增值功能 / API 按量计费 |
| 竞争风险 | 同质化竞争,需做好 SEO |
| 依据 | AI 推测:基于技术栈与部署特征的判断 |
以上为规则引擎基于仓库公开数据生成的参考结论,包含推测成分,不构成投资或创业承诺;配置 AI 后可获得更深入的分析。
报告会保存到 个人中心
竞品与相似项目 GitHub Search 真实检索
| 项目 | 中文简介 | Stars | 语言 |
|---|---|---|---|
| firecrawl/firecrawl | 中文介绍暂未生成 Supercharge your AI agents with data from the web and beyond |
200,627 | TypeScript |
| D4Vinci/Scrapling | 中文介绍暂未生成 🕷️ The BEST Web Scraping framework that handles everything f |
101,261 | Python |
| unclecode/crawl4ai | 中文介绍暂未生成 Official Crawl4AI Cloud: a hosted web scraping, extraction, |
87,198 | Python |
| NanmiCoder/MediaCrawler | 中文介绍暂未生成 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬 |
70,831 | Python |
| scrapy/scrapy | 中文介绍暂未生成 Scrapy, a fast high-level web crawling & scraping framework |
65,321 | Python |
| NaiboWang/EasySpider | 中文介绍暂未生成 A visual no-code/code-free web crawler/spider易采集:一个可视化浏览器自动化 |
44,778 | JavaScript |
以上为通过 GitHub 官方 Search API 检索的相似项目,功能差异与优劣势需进一步人工确认,配置 AI 后可生成对比分析。
项目优势与风险
| 技术成熟度 | 创建于 2018-03-30,近 30 天仍在推送,发布过 18 个 Release |
| 社区活跃 | Star 13,341 / Fork 1,693 / Issue 61(数据支持,可自行核实) |
| 许可证 | GPL-3.0 商用需注意传染性条款 |
| 主要风险 | 上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价 |
安装与使用
快速开始(以仓库 README 为准)
git clone https://github.com/s0md3v/Photon.git cd Photon # 请阅读仓库 README 获取确切安装步骤(依赖、配置、启动命令)
术语说明:Docker=应用容器(把程序和依赖打包运行);API Key=调用外部服务的密钥;Git Clone=把仓库代码下载到本地。常见错误:API Key 未配置 / 端口占用 / 数据库连接失败,多数项目在 README 的 Troubleshooting 章节有说明。