MOSS

# MOSS
<p align="center" width="100%">
<a href="https://txsun1997.github.io/blogs/moss.html" target="_blank"><img src="https://txsun1997.github.io/images/moss.png" alt="MOSS" style="width: 50%; min-width: 300px; display: block; margin: auto;"></a>
</p>

[![Code License](https://img.shields.io/badge/Code%20License-Apache_2.0-brightgreen.svg)](https://github.com/OpenMOSS/MOSS/blob/main/LICENSE)
[![Data License](https://img.shields.io/badge/Data%20License-CC%20BY--NC%204.0-blue.svg)](https://github.com/OpenMOSS/MOSS/blob/main/DATA_LICENSE)
[![Model License](https://img.shields.io/badge/Model%20License-GNU%20AGPL%203.0-red.svg)](https://github.com/OpenMOSS/MOSS/blob/main/MODEL_LICENSE)

[[论文](https://link.springer.com/article/10.1007/s11633-024-1502-8)][[中文版](https://github.com/OpenMOSS/MOSS/blob/main/README.md)] [[English](https://github.com/OpenMOSS/MOSS/blob/main/README_en.md)] [[官方微信群](https://github.com/OpenMOSS/MOSS/blob/main/examples/WeChatGroupQR.jpg)]

**MOSS 是支持中英双语对话与工具调用的开源语言模型。本仓库提供 MOSS-003 系列模型、对话数据、部署与微调代码。**

**从这里开始：** [模型下载](#模型) · [硬件要求](#硬件要求) · [本地运行](#robot-本地部署) · [微调](#fire-微调)

查看 OpenMOSS 的更多项目：[MOSS-TTS](https://github.com/OpenMOSS/MOSS-TTS) · [MOSS-VL](https://github.com/OpenMOSS/MOSS-VL) · [MOVA](https://github.com/OpenMOSS/MOVA) · [OpenMOSS](https://github.com/OpenMOSS).

## 目录

- [开源清单](#spiral_notepad-开源清单)
  - [模型](#模型)
  - [数据](#数据)
  - [工程方案](#工程方案)
- [介绍](#fountain_pen-介绍)
- [本地部署](#robot-本地部署)
  - [硬件要求](#硬件要求)
  - [下载安装](#下载安装)
  - [使用示例](#使用示例)
- [微调](#fire-微调)
  - [软件依赖](#软件依赖)
  - [使用方法](#使用方法)
- [友情链接](#link-友情链接)
- [未来计划](#construction-未来计划)
- [开源协议](#page_with_curl-开源协议)

----

## :spiral_notepad: 开源清单

### 模型

- [**moss-moon-003-base**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-base): MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10<sup>22</sup>次浮点数运算。
- [**moss-moon-003-sft**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft): 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
- [**moss-moon-003-sft-plugin**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft-plugin): 基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在`moss-moon-003-sft`基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
- [**moss-moon-003-sft-int4**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft-int4/tree/main): 4bit量化版本的`moss-moon-003-sft`模型，约占用12GB显存即可进行推理。
- [**moss-moon-003-sft-int8**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft-int8): 8bit量化版本的`moss-moon-003-sft`模型，约占用24GB显存即可进行推理。
- [**moss-moon-003-sft-plugin-int4**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft-plugin-int4): 4bit量化版本的`moss-moon-003-sft-plugin`模型，约占用12GB显存即可进行推理。
- [**moss-moon-003-sft-plugin-int8**](https://huggingface.co/OpenMOSS-Team/moss-moon-003-sft-plugin-int8): 8bit量化版本的`moss-moon-003-sft-plugin`模型，约占用24GB显存即可进行推理。
- **moss-moon-003-pm**: 在基于`moss-moon-003-sft`收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。
- **moss-moon-003**: 在`moss-moon-003-sft`基础上经过偏好模型`moss-moon-003-pm`训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。
- **moss-moon-003-plugin**: 在`moss-m