
# llama-2-ko-story-7b
llama-2-koen-story-13b는 [beomi/llama-2-koen-13b](https://huggingface.co/beomi/llama-2-koen-13b)를 기반으로 한글 소설 raw 데이터를 학습시킨 기반 모델입니다.
## 학습 데이터
llama-2-koen-story-13b는 약 167MB의 한글 소설 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.
| Source                              |Size (MB) | Link                                  |
|----------------------------------|---------|------------------------------------------|
| 한글 소설 말뭉치 | 115.0 | |
| 공유마당 한국 고전 문학 말뭉치 | 53.0  | https://gongu.copyright.or.kr/ |
## 학습
llama-2-koen-story-13b는 [beomi/llama-2-koen-13b](https://huggingface.co/beomi/llama-2-koen-13b)에서 qlora로 추가 학습되었습니다.
- lora_alpha: 16
- lora_dropout: 0.05
- lora_r: 32
- target_modules: q_proj, v_proj
- epoch: 3
- learning_rate: 3e-4
{"language": ["ko"], "license": "llama2", "tags": ["pytorch", "causal-lm"], "pipeline_tag": "text-generation"}
transformers safetensors llama text-generation pytorch causal-lm ko license:llama2 autotrain_compatible endpoints_compatible text-generation-inference region:us