
# Chinese QA LoRA Model
llama中文问答LoRA模型

`llama-13B-belle-zh-lora` evaluate test data：

The overall performance of llama-13B-belle-zh-lora on QA **test**:

|input_text|predict|
|:-- |:--- |
|用一句话描述地球为什么是独一无二的\n答：|地球是独一无二的，因为它是我们的家园，它是我们的生命的基础，它是我们的星球。|

在中文开放测试集中的表现优异，继承了两方面的优势：1）微调的底座是llama-13B模型，中文的表现优于LLAMA，2）微调使用的是高质量100万条中文ChatGPT指令Belle数据集，微调后的模型对话效果优于原始llama-13B。


## Usage

本项目开源在textgen项目：[textgen](https://github.com/shibing624/textgen)，可支持llama模型，通过如下命令调用：

Install package:
```shell
pip install -U textgen
```

```python
from textgen import LlamaModel
model = LlamaModel("llama", "decapoda-research/llama-13b-hf", lora_name="shibing624/llama-13b-belle-zh-lora")
r = model.predict(["用一句话描述地球为什么是独一无二的\n答："])
print(r) # ['地球是独一无二的，因为它是我们的家园，它是我们的生命的基础，它是我们的星球。']
```


模型文件组成：
```
llama-13b-belle-zh-lora
    ├── adapter_config.json
    └── adapter_model.bin
```


### 训练数据集

1. 50万条中文ChatGPT指令Belle数据集：[BelleGroup/train_0.5M_CN](https://huggingface.co/datasets/BelleGroup/train_0.5M_CN)
2. 100万条中文ChatGPT指令Belle数据集：[BelleGroup/train_1M_CN](https://huggingface.co/datasets/BelleGroup/train_1M_CN)
3. 5万条英文ChatGPT指令Alpaca数据集：[50k English Stanford Alpaca dataset](https://github.com/tatsu-lab/stanford_alpaca#data-release)
4. 2万条中文ChatGPT指令Alpaca数据集：[shibing624/alpaca-zh](https://huggingface.co/datasets/shibing624/alpaca-zh)
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：[Chinese-Vicuna/guanaco_belle_merge_v1.0](https://huggingface.co/datasets/Chinese-Vicuna/guanaco_belle_merge_v1.0)


如果需要训练llama模型，请参考[https://github.com/shibing624/textgen](https://github.com/shibing624/textgen)


## Citation

```latex
@software{textgen,
  author = {Xu Ming},
  title = {textgen: Implementation of language model finetune},
  year = {2021},
  url = {https://github.com/shibing624/textgen},
}
```

{"language": ["zh"], "license": "apache-2.0", "tags": ["llama", "pytorch", "zh", "Text2Text-Generation"], "widget": [{"text": "\u7528\u4e00\u53e5\u8bdd\u63cf\u8ff0\u5730\u7403\u4e3a\u4ec0\u4e48\u662f\u72ec\u4e00\u65e0\u4e8c\u7684\n\u7b54\uff1a"}]}
llama pytorch zh Text2Text-Generation license:apache-2.0 region:us
TAGS
#llama #pytorch #zh #Text2Text-Generation #license-apache-2.0 #region-us 

Chinese QA LoRA Model
=====================


llama中文问答LoRA模型


'llama-13B-belle-zh-lora' evaluate test data：


The overall performance of llama-13B-belle-zh-lora on QA test:



在中文开放测试集中的表现优异，继承了两方面的优势：1）微调的底座是llama-13B模型，中文的表现优于LLAMA，2）微调使用的是高质量100万条中文ChatGPT指令Belle数据集，微调后的模型对话效果优于原始llama-13B。


Usage
-----


本项目开源在textgen项目：textgen，可支持llama模型，通过如下命令调用：


Install package:


模型文件组成：


### 训练数据集


1. 50万条中文ChatGPT指令Belle数据集：BelleGroup/train\_0.5M\_CN
2. 100万条中文ChatGPT指令Belle数据集：BelleGroup/train\_1M\_CN
3. 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
4. 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco\_belle\_merge\_v1.0


如果需要训练llama模型，请参考https://URL



### 训练数据集


1. 50万条中文ChatGPT指令Belle数据集：BelleGroup/train\_0.5M\_CN
2. 100万条中文ChatGPT指令Belle数据集：BelleGroup/train\_1M\_CN
3. 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
4. 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco\_belle\_merge\_v1.0


如果需要训练llama模型，请参考https://URL
TAGS
#llama #pytorch #zh #Text2Text-Generation #license-apache-2.0 #region-us 
 ### 训练数据集


1. 50万条中文ChatGPT指令Belle数据集：BelleGroup/train\_0.5M\_CN
2. 100万条中文ChatGPT指令Belle数据集：BelleGroup/train\_1M\_CN
3. 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
4. 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco\_belle\_merge\_v1.0


如果需要训练llama模型，请参考https://URL
TAGS
#llama #pytorch #zh #Text2Text-Generation #license-apache-2.0 #region-us 
### 训练数据集


1. 50万条中文ChatGPT指令Belle数据集：BelleGroup/train\_0.5M\_CN
2. 100万条中文ChatGPT指令Belle数据集：BelleGroup/train\_1M\_CN
3. 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
4. 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco\_belle\_merge\_v1.0


如果需要训练llama模型，请参考https://URL