|
--- |
|
license: mit |
|
datasets: |
|
- Skywork/SkyPile-150B |
|
- llm-wizard/alpaca-gpt4-data-zh |
|
- BelleGroup/train_2M_CN |
|
- BelleGroup/train_1M_CN |
|
language: |
|
- zh |
|
pipeline_tag: text-generation |
|
--- |
|
<div align="center"> |
|
|
|
# Mini Chinese Phi3 |
|
|
|
</div> |
|
|
|
Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了 |
|
- 数据集的整理与简单清洗 |
|
- 中文词表预训练 |
|
- 基于phi3结构的模型预训练 |
|
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调 |
|
- 基于指令微调模型的直接偏好优化（DPO） |
|
- 模型评测 **（待做）** |
|
|
|
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。 |
|
|
|
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。[项目地址](https://github.com/niuwz/MiniChinesePhi3) |
|
|
