jujbob commited on
Commit
d02da41
·
verified ·
1 Parent(s): efecdee

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +32 -31
README.md CHANGED
@@ -5,22 +5,22 @@ tags: []
5
 
6
 
7
  <a href="https://github.com/MLP-Lab/Bllossom">
8
- <img src="https://raw.githubusercontent.com/teddysum/bllossom/main/bllossom_icon.png?token=GHSAT0AAAAAACZIELMFYS74LTHEVHXKCYQMZ2SUOVQ" width="30%" height="30%">
9
  </a>
10
 
11
  # Update!
12
- * [2024.12.06] -
 
13
 
14
 
15
- # Bllossom | [Demo]() | [Homepage](https://www.bllossom.ai/) | [Github](https://github.com/MLP-Lab/Bllossom) |
16
 
17
  ```bash
18
- 저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA 공개합니다.
19
  이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
20
- - 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능합니다.
21
  - 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
22
- - 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비 10%이상)
23
- - 영어 성능을 전혀 손상시키지 않은 완전한 Bilingual 모델입니다.
24
  - 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
25
  - 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
26
 
@@ -62,9 +62,6 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
62
 
63
  ## Example code
64
 
65
- ### Colab Tutorial
66
- - [Inference-Code-Link](Inference code coming soon)
67
-
68
  ### Python code (Use Vision-language Model)
69
  ```python
70
  from transformers import MllamaForConditionalGeneration,MllamaProcessor
@@ -73,11 +70,11 @@ from PIL import Image
73
  import requests
74
 
75
  model = MllamaForConditionalGeneration.from_pretrained(
76
- 'Bllossom/llama-3.2-Korean-Bllossom-AICA-5.2B',
77
  torch_dtype=torch.bfloat16,
78
  device_map='auto'
79
  )
80
- processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5.2B')
81
 
82
  url = "https://t1.daumcdn.net/cfile/tistory/21527E4A543DCABE1D"
83
  image = Image.open(requests.get(url, stream=True).raw)
@@ -110,11 +107,11 @@ from PIL import Image
110
  import requests
111
 
112
  model = MllamaForConditionalGeneration.from_pretrained(
113
- 'Bllossom/llama-3.2-Korean-Bllossom-AICA-5.2B',
114
  torch_dtype=torch.bfloat16,
115
  device_map='auto'
116
  )
117
- processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5.2B')
118
 
119
  url = "https://cdn.discordapp.com/attachments/1156141391798345742/1313407928287494164/E18489E185B3E1848FE185B3E18485E185B5E186ABE18489E185A3E186BA202021-11-1620E1848BE185A9E18492E185AE2011.png?ex=675005f4&is=674eb474&hm=fc9c4231203f53c27f6edd2420961c182dd4a1ed14d4b73e04127f11393729af&"
120
  image = Image.open(requests.get(url, stream=True).raw)
@@ -142,22 +139,21 @@ print(processor.decode(output[0]))
142
  ## Supported by
143
 
144
  - AICA <img src="https://aica-gj.kr/images/logo.png" width="20%" height="20%">
145
- - 유클리드소프트 <img src="https://euclidsoft.co.kr/_next/image?url=%2Fimg%2Flogo.png&w=384&q=75" width="20%" height="20%">
146
 
147
  ## Citation
148
- **Language Model**
 
149
  ```text
150
- @misc{bllossom,
151
- author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
152
- title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
153
- year = {2024},
154
- journal = {LREC-COLING 2024},
155
- paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
156
  },
157
  }
158
  ```
159
 
160
- **Vision-Language Model**
161
  ```text
162
  @misc{bllossom-V,
163
  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
@@ -169,6 +165,17 @@ print(processor.decode(output[0]))
169
  },
170
  }
171
  ```
 
 
 
 
 
 
 
 
 
 
 
172
 
173
  ## Contact
174
  - 임경태(KyungTae Lim), Professor at Seoultech. `[email protected]`
@@ -177,11 +184,5 @@ print(processor.decode(output[0]))
177
 
178
  ## Contributor
179
  - **신동재(Dongjae Shin)**, [email protected]
180
- - **임현석(Hyeonseok Lim)**, gustjrantk@seoultech.ac.kr
181
- - 원인호(Inho Won), wih1226@seoultech.ac.kr
182
- - 김민준(Minjun Kim), [email protected]
183
- - 유한결(Hangyeol Yoo), [email protected]
184
- - 송승우(Seungwoo Song), [email protected]
185
- - 육정훈(Jeonghun Yuk), [email protected]
186
- - 최창수(Chansu Choi), [email protected]
187
- - 송서현(Seohyun Song), [email protected]
 
5
 
6
 
7
  <a href="https://github.com/MLP-Lab/Bllossom">
8
+ <img src="https://img.newspim.com/news/2024/08/07/2408070813597620.jpg" width="30%" height="30%">
9
  </a>
10
 
11
  # Update!
12
+ * [2024.12.12] 추가설명: 저희는 KMMLU, KoBEST, LogicKor 등 벤치 관련 학습/테스트/유사 데이터를 전혀 사용하지 않았습니다. 저런거 증강해가 쓰까서 학습하면 SOTA 성능 근접하게 나옵니다 모델위에 해보세요!
13
+ * [2024.12.06] Bllossom-5B 모델 최초 업데이트!
14
 
15
 
16
+ # Bllossom [Inference-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing) [Tuning-Code-Link](https://drive.google.com/file/d/1AoxfoV0TSN-pGdc9fa3dRv3-NLZknHlJ/view?usp=sharing)
17
 
18
  ```bash
19
+ 저희 Bllossom 팀에서 llama3.2-3B 기반의 한국어-영어 언어모델 Bllossom-AICA-5B를 공개합니다.
20
  이번 Bllossom-AICA는 다음과 같은 특징을 보입니다.
21
+ - 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능한 최초의 llama기반 3B확장 모델입니다. (코랩 무료 GPU에서 사용가능한 유일한 한국어)
22
  - 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
23
+ - 시각 정보의 이해를 바탕으로 언어모델의 성능이 대폭 향상되었습니다. (정성평가 기준 Bllossom-3.2-3B모델 대비 15%이상)
 
24
  - 한국어 OCR, 표, 그래프 해석에 최적화 되어있습니다.
25
  - 외부지식에 대한 선택적 추론 기능이 학습되었습니다. RAG를 활용할 때 질문과 관련 없는 오류가 섞인 정보의 경우 모델 스스로 활용하지 않습니다.
26
 
 
62
 
63
  ## Example code
64
 
 
 
 
65
  ### Python code (Use Vision-language Model)
66
  ```python
67
  from transformers import MllamaForConditionalGeneration,MllamaProcessor
 
70
  import requests
71
 
72
  model = MllamaForConditionalGeneration.from_pretrained(
73
+ 'Bllossom/llama-3.2-Korean-Bllossom-AICA-5B',
74
  torch_dtype=torch.bfloat16,
75
  device_map='auto'
76
  )
77
+ processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5B')
78
 
79
  url = "https://t1.daumcdn.net/cfile/tistory/21527E4A543DCABE1D"
80
  image = Image.open(requests.get(url, stream=True).raw)
 
107
  import requests
108
 
109
  model = MllamaForConditionalGeneration.from_pretrained(
110
+ 'Bllossom/llama-3.2-Korean-Bllossom-AICA-5B',
111
  torch_dtype=torch.bfloat16,
112
  device_map='auto'
113
  )
114
+ processor = MllamaProcessor.from_pretrained('Bllossom/llama-3.2-Korean-Bllossom-AICA-5B')
115
 
116
  url = "https://cdn.discordapp.com/attachments/1156141391798345742/1313407928287494164/E18489E185B3E1848FE185B3E18485E185B5E186ABE18489E185A3E186BA202021-11-1620E1848BE185A9E18492E185AE2011.png?ex=675005f4&is=674eb474&hm=fc9c4231203f53c27f6edd2420961c182dd4a1ed14d4b73e04127f11393729af&"
117
  image = Image.open(requests.get(url, stream=True).raw)
 
139
  ## Supported by
140
 
141
  - AICA <img src="https://aica-gj.kr/images/logo.png" width="20%" height="20%">
 
142
 
143
  ## Citation
144
+
145
+ **Vision-Language Model**
146
  ```text
147
+ @misc{VLR-Bench,
148
+ author = {Hyeonseok Lim, Dongjae Shin, Seohyun Song, Inho Won, Minjun Kim, Junghun Yuk, Hangyeol Yoo, Haneol Jang, Kyungtae Lim},
149
+ title = {VLR-Bench: Multilingual Benchmark Dataset for Vision-Language Retrieval Augmented Generation},
150
+ year = {2025},
151
+ publisher = {GitHub},
152
+ journal = {COLING 2025},
153
  },
154
  }
155
  ```
156
 
 
157
  ```text
158
  @misc{bllossom-V,
159
  author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
 
165
  },
166
  }
167
  ```
168
+ **Language Model**
169
+ ```text
170
+ @misc{bllossom,
171
+ author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
172
+ title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
173
+ year = {2024},
174
+ journal = {LREC-COLING 2024},
175
+ paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
176
+ },
177
+ }
178
+ ```
179
 
180
  ## Contact
181
  - 임경태(KyungTae Lim), Professor at Seoultech. `[email protected]`
 
184
 
185
  ## Contributor
186
  - **신동재(Dongjae Shin)**, [email protected]
187
+ - **유한결(Hangyeol Yoo)**, hgyoo@seoultech.ac.kr
188
+ - **임현석(Hyeonseok Lim)**, gustjrantk@seoultech.ac.kr