fasoo/llama3.1-financial-dedup

Model Card for Model ID

해당 모델은 금융 도메인 데이터 83만개의 샘플에 대하여 추가학습한 모델입니다.

Llama 3.1 8B base 모델에서 학습이 진행되었으며, 그 외 추가적인 instruction tuning은 수행되지 않았습니다.

또한, 이 모델은 과학기술정보통신부·광주광역시가 공동 지원한 ‘인공지능 중심 산업융합 집적단지 조성사업’으로 지원을 받아 개발되었습니다.

Model Details

Model Description

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

• Developed by: fasoo
• Model type: Causal Language Model
• Language(s) (NLP): English, Korean
• License: [More Information Needed]
• Finetuned from model: Llama 3.1 8B

Model Sources [optional]

• Paper [optional]: [More Information Needed]

Uses

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("fasoo/llama3.1-financial-dedup")
model = AutoModelForCausalLM.from_pretrained("fasoo/llama3.1-financial-dedup")

Environmental Impact

• Hardware Type: NVIDIA H100 80GB HBM3
• Compute Region: Gwangju, South Korea