Update README.md
Browse files
README.md
CHANGED
@@ -5,22 +5,22 @@ tags: []
|
|
5 |
|
6 |
|
7 |
<a href="https://github.com/MLP-Lab/Bllossom">
|
8 |
-
<img src="https://
|
9 |
</a>
|
10 |
|
11 |
# Update!
|
12 |
-
* [2024.12.
|
|
|
13 |
|
14 |
|
15 |
-
# Bllossom
|
16 |
|
17 |
```bash
|
18 |
-
저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA 공개합니다.
|
19 |
이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
|
20 |
-
- 일반 언어모델, 시각-언어모델 양방향으로 활용이
|
21 |
- 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
|
22 |
-
- 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비
|
23 |
-
- 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.
|
24 |
- 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
|
25 |
- 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
|
26 |
|
@@ -62,9 +62,6 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
|
|
62 |
|
63 |
## Example code
|
64 |
|
65 |
-
### Colab Tutorial
|
66 |
-
- [Inference-Code-Link](Inference code coming soon)
|
67 |
-
|
68 |
### Python code (Use Vision-language Model)
|
69 |
```python
|
70 |
from transformers import MllamaForConditionalGeneration,MllamaProcessor
|
@@ -73,11 +70,11 @@ from PIL import Image
|
|
73 |
import requests
|
74 |
|
75 |
model = MllamaForConditionalGeneration.from_pretrained(
|
76 |
-
'Bllossom/llama-3.2-Korean-Bllossom-AICA-
|
77 |
torch_dtype=torch.bfloat16,
|
78 |
device_map='auto'
|
79 |
)
|
80 |
-
processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-
|
81 |
|
82 |
url = "https://t1.daumcdn.net/cfile/tistory/21527E4A543DCABE1D"
|
83 |
image = Image.open(requests.get(url, stream=True).raw)
|
@@ -110,11 +107,11 @@ from PIL import Image
|
|
110 |
import requests
|
111 |
|
112 |
model = MllamaForConditionalGeneration.from_pretrained(
|
113 |
-
'Bllossom/llama-3.2-Korean-Bllossom-AICA-
|
114 |
torch_dtype=torch.bfloat16,
|
115 |
device_map='auto'
|
116 |
)
|
117 |
-
processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-
|
118 |
|
119 |
url = "https://cdn.discordapp.com/attachments/1156141391798345742/1313407928287494164/E18489E185B3E1848FE185B3E18485E185B5E186ABE18489E185A3E186BA202021-11-1620E1848BE185A9E18492E185AE2011.png?ex=675005f4&is=674eb474&hm=fc9c4231203f53c27f6edd2420961c182dd4a1ed14d4b73e04127f11393729af&"
|
120 |
image = Image.open(requests.get(url, stream=True).raw)
|
@@ -142,22 +139,21 @@ print(processor.decode(output[0]))
|
|
142 |
## Supported by
|
143 |
|
144 |
- AICA <img src="https://aica-gj.kr/images/logo.png" width="20%" height="20%">
|
145 |
-
- 유클리드소프트 <img src="https://euclidsoft.co.kr/_next/image?url=%2Fimg%2Flogo.png&w=384&q=75" width="20%" height="20%">
|
146 |
|
147 |
## Citation
|
148 |
-
|
|
|
149 |
```text
|
150 |
-
@misc{
|
151 |
-
author = {
|
152 |
-
title = {
|
153 |
-
year = {
|
154 |
-
|
155 |
-
|
156 |
},
|
157 |
}
|
158 |
```
|
159 |
|
160 |
-
**Vision-Language Model**
|
161 |
```text
|
162 |
@misc{bllossom-V,
|
163 |
author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
|
@@ -169,6 +165,17 @@ print(processor.decode(output[0]))
|
|
169 |
},
|
170 |
}
|
171 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
172 |
|
173 |
## Contact
|
174 |
- 임경태(KyungTae Lim), Professor at Seoultech. `[email protected]`
|
@@ -177,11 +184,5 @@ print(processor.decode(output[0]))
|
|
177 |
|
178 |
## Contributor
|
179 |
- **신동재(Dongjae Shin)**, [email protected]
|
180 |
-
-
|
181 |
-
-
|
182 |
-
- 김민준(Minjun Kim), [email protected]
|
183 |
-
- 유한결(Hangyeol Yoo), [email protected]
|
184 |
-
- 송승우(Seungwoo Song), [email protected]
|
185 |
-
- 육정훈(Jeonghun Yuk), [email protected]
|
186 |
-
- 최창수(Chansu Choi), [email protected]
|
187 |
-
- 송서현(Seohyun Song), [email protected]
|
|
|
5 |
|
6 |
|
7 |
<a href="https://github.com/MLP-Lab/Bllossom">
|
8 |
+
<img src="https://img.newspim.com/news/2024/08/07/2408070813597620.jpg" width="30%" height="30%">
|
9 |
</a>
|
10 |
|
11 |
# Update!
|
12 |
+
* [2024.12.12] 추가설명: 저희는 KMMLU, KoBEST, LogicKor 등 벤치 관련 학습/테스트/유사 데이터를 전혀 사용하지 않았습니다. 저런거 증강해가 쓰까서 학습하면 SOTA 성능 근접하게 나옵니다 모델위에 해보세요!
|
13 |
+
* [2024.12.06] Bllossom-5B 모델 최초 업데이트!
|
14 |
|
15 |
|
16 |
+
# Bllossom [Inference-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing) [Tuning-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing)
|
17 |
|
18 |
```bash
|
19 |
+
저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA-5B를 공개합니다.
|
20 |
이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
|
21 |
+
- 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능한 최초의 llama기반 3B확장 모델입니다. (코랩 무료 GPU에서 사용가능한 유일한 한국어)
|
22 |
- 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
|
23 |
+
- 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비 15%이상)
|
|
|
24 |
- 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
|
25 |
- 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
|
26 |
|
|
|
62 |
|
63 |
## Example code
|
64 |
|
|
|
|
|
|
|
65 |
### Python code (Use Vision-language Model)
|
66 |
```python
|
67 |
from transformers import MllamaForConditionalGeneration,MllamaProcessor
|
|
|
70 |
import requests
|
71 |
|
72 |
model = MllamaForConditionalGeneration.from_pretrained(
|
73 |
+
'Bllossom/llama-3.2-Korean-Bllossom-AICA-5B',
|
74 |
torch_dtype=torch.bfloat16,
|
75 |
device_map='auto'
|
76 |
)
|
77 |
+
processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5B')
|
78 |
|
79 |
url = "https://t1.daumcdn.net/cfile/tistory/21527E4A543DCABE1D"
|
80 |
image = Image.open(requests.get(url, stream=True).raw)
|
|
|
107 |
import requests
|
108 |
|
109 |
model = MllamaForConditionalGeneration.from_pretrained(
|
110 |
+
'Bllossom/llama-3.2-Korean-Bllossom-AICA-5B',
|
111 |
torch_dtype=torch.bfloat16,
|
112 |
device_map='auto'
|
113 |
)
|
114 |
+
processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5B')
|
115 |
|
116 |
url = "https://cdn.discordapp.com/attachments/1156141391798345742/1313407928287494164/E18489E185B3E1848FE185B3E18485E185B5E186ABE18489E185A3E186BA202021-11-1620E1848BE185A9E18492E185AE2011.png?ex=675005f4&is=674eb474&hm=fc9c4231203f53c27f6edd2420961c182dd4a1ed14d4b73e04127f11393729af&"
|
117 |
image = Image.open(requests.get(url, stream=True).raw)
|
|
|
139 |
## Supported by
|
140 |
|
141 |
- AICA <img src="https://aica-gj.kr/images/logo.png" width="20%" height="20%">
|
|
|
142 |
|
143 |
## Citation
|
144 |
+
|
145 |
+
**Vision-Language Model**
|
146 |
```text
|
147 |
+
@misc{VLR-Bench,
|
148 |
+
author = {Hyeonseok Lim, Dongjae Shin, Seohyun Song, Inho Won, Minjun Kim, Junghun Yuk, Hangyeol Yoo, Haneol Jang, Kyungtae Lim},
|
149 |
+
title = {VLR-Bench: Multilingual Benchmark Dataset for Vision-Language Retrieval Augmented Generation},
|
150 |
+
year = {2025},
|
151 |
+
publisher = {GitHub},
|
152 |
+
journal = {COLING 2025},
|
153 |
},
|
154 |
}
|
155 |
```
|
156 |
|
|
|
157 |
```text
|
158 |
@misc{bllossom-V,
|
159 |
author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
|
|
|
165 |
},
|
166 |
}
|
167 |
```
|
168 |
+
**Language Model**
|
169 |
+
```text
|
170 |
+
@misc{bllossom,
|
171 |
+
author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
|
172 |
+
title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
|
173 |
+
year = {2024},
|
174 |
+
journal = {LREC-COLING 2024},
|
175 |
+
paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
|
176 |
+
},
|
177 |
+
}
|
178 |
+
```
|
179 |
|
180 |
## Contact
|
181 |
- 임경태(KyungTae Lim), Professor at Seoultech. `[email protected]`
|
|
|
184 |
|
185 |
## Contributor
|
186 |
- **신동재(Dongjae Shin)**, [email protected]
|
187 |
+
- **유한결(Hangyeol Yoo)**, hgyoo@seoultech.ac.kr
|
188 |
+
- **임현석(Hyeonseok Lim)**, gustjrantk@seoultech.ac.kr
|
|
|
|
|
|
|
|
|
|
|
|