

- base_model: polyglot-ko-3.8b1
- train_data: 12 instruction fine-tuned dataset
- train method: SFT


```python
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained("hyunjae/polyglot-ko-3.8b-total")
tokenizer = AutoTokenizer.from_pretrained("hyunjae/polyglot-ko-3.8b-total")

messages = [
    {"role": "system", "content": "당신은 사람들이 정보를 찾을 수 있도록 도와주는 인공지능 비서입니다."},
    {"role": "user", "content": "대한민국의 수도는 어디야?"},
    {"role": "assistant", "content": "대한민국의 수도는 서울입니다."},
    {"role": "user", "content": "서울 인구는 총 몇 명이야?"}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])
```

{"language": ["ko"], "license": "mit", "pipeline_tag": "text-generation"}
transformers pytorch gpt_neox text-generation ko license:mit autotrain_compatible endpoints_compatible text-generation-inference region:us