peft safetensors base_model:meta-llama/Llama-2-7b-chat-hf region:us
---
library_name: peft
base_model: meta-llama/Llama-2-7b-chat-hf
---


# Accuracy

|  |TP|TN|
|------|---|---|
|FP|447|141|
|FN|39|373|

정확도: 82%(447+373/1000)

-Train 데이터는 nsmc['train']을 shuffle한 다음에 상위 5000개를 활용하였습니다

-Test 데이터는 nsmc['train']을 shuffle한 다음에 상위 1000개를 활용하였습니다.

-1000개의 train 데이터 중 820개를 정확하게 분류하였습니다.

-Base Model은 meta-llama/Llama-2-7b-chat-hf로, base model에 Lora 어댑터를 붙여서 SFTtrainer를 통하여 새로운 데이터셋 nsmc에 대해서 미세튜닝을 하였습니다.

-미세튜닝한 로라 어댑터를 허깅페이스에 업로드한 후 4비트로 양자화된 base model에 붙인 후 추론을 하였습니다.

-상위 2000개의 train_dataset에 대해서 훈련을 한 후 상위 1000개의 test_dataset에 대해서 추론은 한 결과는 위의 표와 같습니다.

-정확도 향상을 위하여 test 데이터셋의 크기를 늘리려 하였으나, GPU 용량 제한으로 인하여 지속적으로 오류가 발생하였습니다.