peft safetensors base_model:jangmin/midm-7b-safetensors-only region:us
---
library_name: peft
base_model: jangmin/midm-7b-safetensors-only
---

# Model Card for Model ID

<!-- Provide a quick summary of what the model is/does. -->
- mdim 모델을 한국어 영화 리뷰 데이터셋(NSMC)을 해결하는 모델이 되도록 미세튜닝
- 한국 영화 리뷰의 긍정 또는 부정을 판단하는 모델을 학습


## Model Details
모델: KT-AI/midm-bitext-S-7B-inst-v1
학습 데이터: NSMC (네이버 영화 리뷰 데이터셋)
batch 크기: 1
시퀀스 길이: 384
학습률: 1e-4
epoch: 1


## 정확도 향상 추가 노력
- epoch 300부터 시작하여 1000까지 학습
- 데이터 개수 2000부터 시작하여 3000개까지 학습

## 평가
- (학습 데이터) nsmc 상위 3000개
- (검증 데이터) nsmc 상위 1000개
- 학습 결과: TrainOutput(global_step=1000, training_loss=0.9650133666992188, metrics={'train_runtime': 2982.9519, 'train_samples_per_second': 0.67, 'train_steps_per_second': 0.335, 'total_flos': 3.1051694997504e+16, 'train_loss': 0.9650133666992188, 'epoch': 0.67})
- 정확도 테스트:


TP    TN
PP  477   79
PN   31  413

정확도: 0.89

## Training procedure

The following `bitsandbytes` quantization config was used during training:
- quant_method: bitsandbytes
- load_in_8bit: False
- load_in_4bit: True
- llm_int8_threshold: 6.0
- llm_int8_skip_modules: None
- llm_int8_enable_fp32_cpu_offload: False
- llm_int8_has_fp16_weight: False
- bnb_4bit_quant_type: nf4
- bnb_4bit_use_double_quant: False
- bnb_4bit_compute_dtype: bfloat16

### Framework versions

- PEFT 0.7.0