登录 注册

cleanrl

去点 Star
AI 模型与开发框架教育与学习开发者工具 a2cactor-criticadvantage-actor-criticaleatarideep-learning
10,668
Stars
1,195
Forks
47
Watchers
110
Open Issues
NOASSERTION
许可证
Python
语言
2019-06-07
创建时间
2026-04-20
最近更新

项目能做什么

面向科研的高质量单文件深度强化学习算法实现（含 PPO、DQN、SAC 等）
来源：基于仓库元数据 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录，命令与配置均以原文为准。
原始 README 摘录（英文原文，节选前 3000 字符） 
# CleanRL (Clean Implementation of RL Algorithms)


[<img src="https://img.shields.io/badge/license-MIT-blue">](https://github.com/vwxyzjn/cleanrl)
[![tests](https://github.com/vwxyzjn/cleanrl/actions/workflows/tests.yaml/badge.svg)](https://github.com/vwxyzjn/cleanrl/actions/workflows/tests.yaml)
[![docs](https://img.shields.io/github/deployments/vwxyzjn/cleanrl/Production?label=docs&logo=vercel)](https://docs.cleanrl.dev/)
[<img src="https://img.shields.io/discord/767863440248143916?label=discord">](https://discord.gg/D6RCjA6sVT)
[<img src="https://img.shields.io/youtube/channel/views/UCDdC6BIFRI0jvcwuhi3aI6w?style=social">](https://www.youtube.com/channel/UCDdC6BIFRI0jvcwuhi3aI6w/videos)
[![Code style: black](https://img.shields.io/badge/code%20style-black-000000.svg)](https://github.com/psf/black)
[![Imports: isort](https://img.shields.io/badge/%20imports-isort-%231674b1?style=flat&labelColor=ef8336)](https://pycqa.github.io/isort/)
[<img src="https://img.shields.io/badge/%F0%9F%A4%97%20Models-Huggingface-F8D521">](https://huggingface.co/cleanrl)
[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/vwxyzjn/cleanrl/blob/master/docs/get-started/CleanRL_Huggingface_Integration_Demo.ipynb)


CleanRL is a Deep Reinforcement Learning library that provides high-quality single-file implementation with research-friendly features. The implementation is clean and simple, yet we can scale it to run thousands of experiments using AWS Batch. The highlight features of CleanRL are:



* 📜 Single-file implementation
   * *Every detail about an algorithm variant is put into a single standalone file.* 
   * For example, our `ppo_atari.py` only has 340 lines of code but contains all implementation details on how PPO works with Atari games, **so it is a great reference implementation to read for folks who do not wish to read an entire modular library**.
* 📊 Benchmarked Implementation (7+ algorithms and 34+ games at https://benchmark.cleanrl.dev)
* 📈 Tensorboard Logging
* 🪛 Local Reproducibility via Seeding
* 🎮 Videos of Gameplay Capturing
* 🧫 Experiment Management with [Weights and Biases](https://wandb.ai/site)
* 💸 Cloud Integration with docker and AWS 

You can read more about CleanRL in our [JMLR paper](https://www.jmlr.org/papers/volume23/21-1342/21-1342.pdf) and [documentation](https://docs.cleanrl.dev/).

Notable CleanRL-related projects:

* [corl-team/CORL](https://github.com/corl-team/CORL): Offline RL algorithm implemented in CleanRL style
* [pytorch-labs/LeanRL](https://github.com/pytorch-labs/LeanRL): Fast optimized PyTorch implementation of CleanRL RL algorithms using CUDAGraphs.


> ℹ️ **Support for Gymnasium**: [Farama-Foundation/Gymnasium](https://github.com/Farama-Foundation/Gymnasium) is the next generation of [`openai/gym`](https://github.com/openai/gym) that will continue to be maintained and introduce new features. Please see their [announcement](https://farama.org/Announcing-The
阅读完整原文

商业机会分析 规则生成（AI 未配置）

综合评分 46.3 分。该项目在“个人可实施性”维度得 20 分，“付费可能性”维度得 40.0 分，差异化空间 100.0 分（评分依据见评分卡）。

将 cleanrl 改造为垂直场景 SaaS

产品构想保留核心能力，针对某一类用户（如某行业团队）做托管版，收取月费。
目标用户有该需求的中小团队 / 独立站长
难度/周期较高 · 2~4 周（MVP）
收费模式订阅制（如 ¥29~99/月）
竞争风险需验证付费意愿；注意许可证合规
依据 数据支持的判断：许可证与关键词显示存在商用与付费场景

面向细分需求的二次开发产品

产品构想基于 cleanrl 的核心能力，聚焦一个更窄的场景（如某平台、某行业）做差异化。
目标用户该细分场景用户
难度/周期中 · 2~6 周
收费模式买断制 / 订阅制 / 广告
竞争风险细分需求规模需验证
依据 AI 推测：基于项目主题标签的判断
以上为规则引擎基于仓库公开数据生成的参考结论，包含推测成分，不构成投资或创业承诺；配置 AI 后可获得更深入的分析。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

项目中文简介Stars语言
thu-ml/tianshou 中文介绍暂未生成
An elegant PyTorch deep reinforcement learning library.
 11,052 Python
andri27-ts/Reinforcement-Learning 中文介绍暂未生成
Learn Deep Reinforcement Learning in 60 days! Lectures & Cod
 4,750 Jupyter Notebook
sweetice/Deep-reinforcement-learning-with-pytorch 中文介绍暂未生成
PyTorch implementation of DQN, AC, ACER, A2C, A3C, PG, DDP
 4,653 Python
AI4Finance-Foundation/ElegantRL 中文介绍暂未生成
Massively Parallel Deep Reinforcement Learning. 🔥
 4,375 Python
ikostrikov/pytorch-a2c-ppo-acktr-gail 中文介绍暂未生成
PyTorch implementation of Advantage Actor Critic (A2C), Prox
 3,910 Python
simoninithomas/Deep_reinforcement_learning_Course 中文介绍暂未生成
Implementations from the free course Deep Reinforcement Lear
 3,901 Jupyter Notebook
以上为通过 GitHub 官方 Search API 检索的相似项目，功能差异与优劣势需进一步人工确认，配置 AI 后可生成对比分析。

项目优势与风险

技术成熟度创建于 2019-06-07，最近推送 2026-04-20，发布过 18 个 Release
社区活跃Star 10,668 / Fork 1,195 / Issue 110（数据支持，可自行核实）
许可证NOASSERTION
主要风险上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价

安装与使用

快速开始（以仓库 README 为准）
git clone https://github.com/vwxyzjn/cleanrl.git
cd cleanrl
# 请阅读仓库 README 获取确切安装步骤（依赖、配置、启动命令）
阅读原仓库文档
术语说明：Docker＝应用容器（把程序和依赖打包运行）；API Key＝调用外部服务的密钥；Git Clone＝把仓库代码下载到本地。常见错误：API Key 未配置 / 端口占用 / 数据库连接失败，多数项目在 README 的 Troubleshooting 章节有说明。