---
license: mit
---

**注：動作未検証**

日本語のSentence Embedding用albert

以下のモデルから転移学習を実施。  
https://huggingface.co/ken11/albert-base-japanese-v1-with-japanese-tokenizer  

学習は[llm-book/bert-base-japanese-v3-unsup-simcse-jawiki](https://huggingface.co/llm-book/bert-base-japanese-v3-unsup-simcse-jawiki)記載の[Colabノートブック](https://colab.research.google.com/github/ghmagazine/llm-book/blob/main/chapter8/8-3-simcse-training.ipynb)を使用した


# モチベーション

ベクトル検索のために小規模言語モデルが必要になった。
AWS Lambdaで動かせるようにしたい。