Bllossom
/

llama-3.2-Korean-Bllossom-AICA-5B

@@ -9,30 +9,30 @@ tags: []
 </a>
 # Update!
-* [2024.12.12] 추가설명: 저희는 KMMLU, KoBEST, LogicKor 등 벤치 관련 학습/테스트/유사 데이터를 전혀 사용하지 않았습니다. 저런거 증강해가 쓰까서 학습하면 SOTA 성능 근접하게 나옵니다 모델위에 해보세요!
 * [2024.12.06] Bllossom-5B 모델 최초 업데이트!
-# Bllossom [Inference-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing) [Tuning-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing)
 ```bash
 저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA-5B를 공개합니다.
 이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
- - 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능한 최초의 llama기반 3B확장 모델입니다. (코랩 무료 GPU에서 사용가능한 유일한 한국어)
  - 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
- - 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비 15%이상)
  - 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
  - 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
 해당 모델에 활용된 데이터는 다음과 같습니다.
- - Huggingface에 공개된 한국어 사전학습 데이터를 거의 모두 활용해 Full tuning 했습니다.
  - AI-Hub, KISTI AI데이터, Huggingface에 공개된 거의 모든 한국어 시각-언어 관련 학습데이터를 활용해 시각-언어모델 사전학습을 했습니다. (다 나열하기 너무 많아요...)
  - 저희 연구실에서 자체 제작한 한국어 Document 관련 시각-언어 Instruction Tuning데이터를 활용했습니다.
 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.
 1. Bllossom-AICA의 외부지식 지식추론 기능은 COLING2025에 발표될 예정입니다.
-2. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!!
 ```
 ```bash
@@ -47,16 +47,6 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
 ## Demo Video
-<div style="display: flex; justify-content: space-between;">
-  <!-- 첫 번째 컬럼 -->
-  <div style="width: 49%;">
-    <a>
-      <img src="https://github.com/lhsstn/lhsstn/blob/main/x-llava_dem.gif?raw=true" style="width: 100%; height: auto;">
-    </a>
-    <p style="text-align: center;">Bllossom-V Demo</p>
-  </div>
-</div>
 <div style="display: flex; justify-content: space-between;">
   <!-- 두 번째 컬럼 -->
   <div style="width: 100%;">
@@ -67,9 +57,9 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
   </div>
 </div>
-**[YouTube Tutorial](https://youtu.be/4lAUVwTN608)**
-## LogicKor Score
 | Category | Single turn | Multi turn |
 |---|---|---|
 | 추론(Reasoning) | 6.57 | 5.29 |

 </a>
 # Update!
+* [2024.12.12] 추가설명: KMMLU, KoBEST, LogicKor 등 벤치 관련 학습/테스트/유사 데이터를 전혀 사용하지 않았습니다. 벤치데이터 증강해가 쓰까서 학습하면 SOTA 성능 근접하게 나옵니다 모델위에 해보세요!
 * [2024.12.06] Bllossom-5B 모델 최초 업데이트!
+# Bllossom [추론코드예제](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing) | [학습코드예제](https://drive.google.com/file/d/1E_fYV-tUhl1LExm2piaIhvXfuOcNaZmP/view?usp=sharing) | [튜토리얼 영상](https://youtu.be/4lAUVwTN608)
 ```bash
 저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA-5B를 공개합니다.
 이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
+ - 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능한 최초의 llama기반 3B확장 모델입니다. (코랩 무료 GPU에서 사용가능한 유일한 시각-언어 한국어 )
  - 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
+ - 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비 20%이상)
  - 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
  - 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
 해당 모델에 활용된 데이터는 다음과 같습니다.
+ - Huggingface에 공개된 한국어 LLM 사전학습 데이터를 거의 모두 활용해 Full tuning 했습니다.
  - AI-Hub, KISTI AI데이터, Huggingface에 공개된 거의 모든 한국어 시각-언어 관련 학습데이터를 활용해 시각-언어모델 사전학습을 했습니다. (다 나열하기 너무 많아요...)
  - 저희 연구실에서 자체 제작한 한국어 Document 관련 시각-언어 Instruction Tuning데이터를 활용했습니다.
 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.
 1. Bllossom-AICA의 외부지식 지식추론 기능은 COLING2025에 발표될 예정입니다.
+2. 3B기반 모델이 이정도면 8B기반 모델은 어느정도인지 궁금하지 않으세요? 좋은 언어모델 계속 업데이트 하겠습니다!!
 ```
 ```bash
 ## Demo Video
 <div style="display: flex; justify-content: space-between;">
   <!-- 두 번째 컬럼 -->
   <div style="width: 100%;">
   </div>
 </div>
+## LogicKor Score
+*(LogicKor 관련 데이터 추가학습하면 8점 후반까지도 나옵니다... 필요하신분은 추가 학습해보세요.)
 | Category | Single turn | Multi turn |
 |---|---|---|
 | 추론(Reasoning) | 6.57 | 5.29 |