safetensors region:us
<llama2 모델의 성능을 높이기 위해 추가적인 미세튜닝을 진행하였다.>


#첫번째 시도
- 실험 내용:
주어진 코드 그대로 일단 실행하여 성능을 확인했다.

- 실험 결과:
TP: 337
TN: 390
PP: 132
PN: 141
Accuracy: 0.727


#두번째 시도
- 실험 내용: 
1. 이전 프로젝트를 진행하다보면 보통 epoch 수를 늘리면 성능이 좋아짐을 확인할 수 있었다. 더 많은 데이터를 학습해보기 위해 증가시켰다. (num_train_epochs: 1-> 1000로 변경)
2. weight_decay는 과적합을 방지할 수 있는 값으로 너무 크면 underfitting, 너무 작으면 overfitting이 발생할 수 있다. 0.05 정도 값을 더 키워서 overfitting이 일어나지 않도록 했다. (weight_decay: 0.05-> 0.1로 변경)
3. max_grad_norm이 크면 발산의 위험이 크고 수렴이 어려워지며, 정확도가 감소될 수 있기 때문에 어느정도 값을 줄여주었다. (max_grad_norm: 0.3-> 0.1로 변경)

- 실험 결과:
TP: 409
TN: 398
PP: 108
PN: 85
Accuracy: 0.807


<아주 높은 정확도는 확인할 수 없었지만 그래도 정확도가 개선되었음을 확인하였다.>

