File size: 1,134 Bytes
acab49a d2528ab acab49a 71d5f34 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
---
license: mit
datasets:
- Skywork/SkyPile-150B
- llm-wizard/alpaca-gpt4-data-zh
- BelleGroup/train_2M_CN
- BelleGroup/train_1M_CN
language:
- zh
pipeline_tag: text-generation
---
<div align="center">
# Mini Chinese Phi3
</div>
Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
- 数据集的整理与简单清洗
- 中文词表预训练
- 基于phi3结构的模型预训练
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
- 基于指令微调模型的直接偏好优化（DPO）
- 模型评测 **（待做）**
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。[项目地址](https://github.com/niuwz/MiniChinesePhi3)
|