양자화 관련 질문
#1
by
netnk9151
- opened
안녕하세요
Llamafied된 모델이라는 게 기존 모델과 성능적으로 어떤 차이가 있는지 궁금해서 양자화 해서 사용해보려고 하는데 괜찮으실까요?
불쾌하시다면 삭제하겠습니다.
안녕하세요,
해당 모델은 Exaone모델이 trust_remote_code를 사용해야한다는 불편함때문에 Llama모델의 이름에 맞춰 파라미터 이름을 변경, 그리고 기존 FP32를 BF16으로 downcasting해서 올린 weight입니다.
성능적으로는 거의 차이가 없을거에요 :)
물론 기존 Exaone에서 GGUF와 AWQ 양자화된 모델을 제공해주고 있어서 호환성을 이미 제공하고 있긴 합니다만, 다른 Llama 기반 하드코딩된 라이브러리에서 좀더 쓰기 편하게 만든것이라 보시면 됩니다.
beomi
changed discussion status to
closed