Create README.md

README.md

@@ -0,0 +1,66 @@
+---
+license: mit
+---
+
+# bge-m3.gguf
+
+```py
+import torch
+from llama_cpp import Llama
+from sentence_transformers import SentenceTransformer
+from scipy.spatial.distance import cosine
+
+model = SentenceTransformer(
+    "BAAI/bge-m3",
+    model_kwargs={"torch_dtype": torch.float16}
+)
+llm = Llama.from_pretrained(
+    "mykor/bge-m3.gguf",
+    filename="bge-m3-567M-F16.gguf",
+    embedding=True,
+    verbose=False,
+)
+
+text = """움츠러든 어깨를 따라서 다시 저물어가는 오늘의 끝
+밤이 조용히 나를 안으면 무너져가는 날 잊어버릴 수 있어
+색 바랜 오늘은 희망 위에 내일의 구름을 드리우고
+다시 깊은 잠에 빠져들어, 그날을 위한 연습인 것처럼
+
+질리지도 않고 나를 처방하는 만약이라는 말
+항상 똑같은 매일은 내성이 되어 내일을 어지러이 무너뜨려
+
+쓰라린 날에 쓰라린 나를 삼키지 못해 뱉어내고 싶었던 밤
+의미도 없이 건넨 위선의 말, 추락을 향해 올라가는 날 만들어
+그리운 날에 드리운 맘이 아름다웠던 날들을 덧칠할까 봐
+잊어버릴게, 눈을 감고
+
+흩어져 사라질 듯한 그댄 허무하고 애달픈 꽃망울
+모질게 내린 눈물에 잠겨 피지 못하고 멈춰있지만
+차디찬 철길 위에 놓여 나아갈 방향을 모를 뿐이야
+내가 그댈 두 손에 그러모아 레일에 꽃 핀 내일을 비추게 해줘
+
+메마른 꽃잎이 읽지 못한 오늘에 갈피를 꽂아서
+더 이상 그댈 읽지 못하는 나는 그저 오늘의 끝에 매달릴 뿐
+
+찬란한 날에 찬란한 그댈 차마 비추지 못하고 스러져갔던 낯
+심장을 끄집어내 힘껏 소리쳐도 결말을 향해 추락하는 우리가 있어
+그리운 날에 드리운 맘이 내일조차 허락하지 않는다 해도
+잊지 않을게, 두 눈 감는 날까지
+
+피어나고 피어나도 시들어버리는 슬픔이란 꽃
+짙어져만 가는 그대의 아픔이 마지막을 향해 꽃을 피워내고 있어
+고마웠어, 미안했어, 양손에 가득 품은 꽃다발과
+너를 떠나가는 걸
+
+사실은 나도 있잖아, 살아가고 싶어, 밀려드는 절망에 묻혀 사라지던
+아픈 오늘과 두려운 내일 그 사이에 어느새 네가 들어왔어
+쓰라린 날에 찬란한 네가 내게 살아있어줘서 그저 고맙다고
+잊지 않을게 영원히"""
+embed1 = model.encode(text)
+embed2 = llm.embed(text)
+print(cosine(embed1, embed2))
+```
+
+```sh
+2.879617546280855e-05
+```