--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:23525 - loss:CosineSimilarityLoss base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 widget: - source_sentence: Монголбанк, Сангийн яам болон Европын сэргээн босголт, хөгжлийн банкны санамж бичиг sentences: - '"Жүжгүүд нь хүүхдийн урлаг гоо зүйн боловсролыг дээшлүүлэхэд хувь нэмэр оруулна."' - “Үзэхийн хязгаар” ном хоёр дэлгүүрт борлуулалттай байв - Зээлийн эрсдэлийг хуваан үүрэлцэх гэрээ. - source_sentence: Улсын дуурь, бүжгийн эрдмийн театрт номын нээлт болно. sentences: - УДБЭТ-д номын нээлт болно. - Хүндрэлээс гарах арга хэмжээ авахгүй бол эдийн засгийн өсөлт 2 хувиас доошилж, ажилгүйдлийн төвшин ч 10 хувиас дээшилж, экспортын хэмжээ таван тэрбумам.доллараас доошлох магадлалтай аж. - Дахин давтан хэлчхэд урлаг бол үзүүлдэг, шинжлэх ухаан нотолдог гэдэг. - source_sentence: ОХУ, БНХАУ-ыг Монгол Улсын нутаг дэвсгэрээр холбоно sentences: - Нийслэлийн 24 дүгээр сургуулийг төгссөн. - Зураг нь гайхамшигтай гэж Кейт үнэлжээ. - Гурван улс дамнасан худалдаа эргэлтийг дамжин өнгөрүүлнэ - source_sentence: “Драмын жүжгийн төрөл”, “Хүүхдийн жүжгийн төрөл”, “Дуулалт жүжгийн төрөл”, “Нэг хүний жүжгийн төрөл”-үүдэд 40 гаруй жүжиг санал болгосон sentences: - Дуурь, бүжгийн эрдмийн театрын уран бүтээлчид буюу балет анги, хөгжим анги, найрал дуу, гоцлол дуучид тайзнаа Итали, Орос, Францын сор болсон бүтээлийг түүвэрлэн хүргэж, үзэгчдийг зуун дамнуулан цаг хугацаагаар аялуулан сонгодог тансаг орчинд тайз дэлгэцээрээ дамжуулан урьсан гээд энэ үдшийн онцлог олон байлаа - 20 уран бүтээл, 80 гаруй уран бүтээлч чансаагаа сорьж байгаа ажээ. - Цомогт шинэ уран бүтээлүүд багтсан. - source_sentence: Олон улсын наадмын шалгаруулалт sentences: - Мянган тонн үр олгогдсон. - Мөн нийт экспортын хэмжээ 10 хувиар, түүн дунд нүүрсний экспорт 50 хувиар  буурсан юм. - Драмын урлагийн шилдгүүдийг тодруулдаг наадам. pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - pearson_cosine - spearman_cosine model-index: - name: SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 results: - task: type: semantic-similarity name: Semantic Similarity dataset: name: dev t type: dev-t metrics: - type: pearson_cosine value: 0.573972184548268 name: Pearson Cosine - type: spearman_cosine value: 0.5460401569671698 name: Spearman Cosine - task: type: semantic-similarity name: Semantic Similarity dataset: name: test t type: test-t metrics: - type: pearson_cosine value: 0.5937906658169482 name: Pearson Cosine - type: spearman_cosine value: 0.5612769176839287 name: Spearman Cosine --- # SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) on the csv dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) - **Maximum Sequence Length:** 128 tokens - **Output Dimensionality:** 384 dimensions - **Similarity Function:** Cosine Similarity - **Training Dataset:** - csv ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("gmunkhtur/paraphrase-mongolian-minilm-mntoken") # Run inference sentences = [ 'Олон улсын наадмын шалгаруулалт', 'Драмын урлагийн шилдгүүдийг тодруулдаг наадам.', 'Мөн нийт экспортын хэмжээ 10 хувиар, түүн дунд нүүрсний экспорт 50 хувиар\xa0 буурсан юм.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 384] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Semantic Similarity * Datasets: `dev-t` and `test-t` * Evaluated with [EmbeddingSimilarityEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator) | Metric | dev-t | test-t | |:--------------------|:----------|:-----------| | pearson_cosine | 0.574 | 0.5938 | | **spearman_cosine** | **0.546** | **0.5613** | ## Training Details ### Training Dataset #### csv * Dataset: csv * Size: 23,525 training samples * Columns: sentence1, sentence2, and score * Approximate statistics based on the first 1000 samples: | | sentence1 | sentence2 | score | |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------| | type | string | string | float | | details | | | | * Samples: | sentence1 | sentence2 | score | |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:--------------------------------| | Хүн амын нягтаршил багатай, газар хөдлөлийн идэвхигүй бүс, газрын гадарга нь тэгш, үер усны давтамж бага газарт Цөмийн энергийн станцийг барьж байгуулах шаардлагатай гэнэ | Энэ станцад захын нэг дээд сургууль эзэмшсэн нөхөр очоод ажиллахгүй. | 0.2018195390701294 | | Уг компани тендерт гадаадынхныг урьсан ба өрөгдлийг нь зургадугаар сарын 3 хүртэл хүлээн авсан байна | «Коммерсантъ» сонин 24-ний өдрийн дугаартаа өгүүлсэн байна | 0.2372543811798095 | | Би “Өүлэн эх”-ийг анх бүтээсэн | Би “Хорин нэгэн зул”-ыг анх бүтээсэн. | 0.6730476021766663 | * Loss: [CosineSimilarityLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters: ```json { "loss_fct": "torch.nn.modules.loss.MSELoss" } ``` ### Evaluation Dataset #### csv * Dataset: csv * Size: 23,525 evaluation samples * Columns: sentence1, sentence2, and score * Approximate statistics based on the first 1000 samples: | | sentence1 | sentence2 | score | |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------| | type | string | string | float | | details | | | | * Samples: | sentence1 | sentence2 | score | |:------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------| | Анхны тоглолт маань одоо бодоход үнэхээр гоё болж байсан | Яг ямар чиглэлээр тоглохоо мэдэхгүй жаахан охин байсан ч би маш их зүйл сурсан | 0.2749532461166382 | | "Домогт Ану хатан" нь Монголын түүхэн дэх хатан хааны тухай өгүүлдэг | "Домогт Ану хатан" нь Б.Шүүдэрцэцэгийн бүтээл юм. | 0.3653741478919983 | | Советийн хурлаар "Эрдэнэт" болон "Монголросцветмет нэгдэл"-ийн талаар ярилцах ажээ | Асгатын мөнгөний ордыг түшиглэн Орос-Монголын хамтарсан компани байгуулахаар болсон бөгөөд энэ асуудлыг хуралдаанаар хөндөнө гэдгийг эх сурвалж хэлсэн. | 0.599888801574707 | * Loss: [CosineSimilarityLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters: ```json { "loss_fct": "torch.nn.modules.loss.MSELoss" } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `num_train_epochs`: 5 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 5 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | Validation Loss | dev-t_spearman_cosine | test-t_spearman_cosine | |:------:|:----:|:-------------:|:---------------:|:---------------------:|:----------------------:| | 0 | 0 | - | - | 0.2295 | - | | 0.5663 | 500 | 0.0403 | - | - | - | | 1.1325 | 1000 | 0.0332 | 0.0320 | 0.5316 | - | | 1.6988 | 1500 | 0.0188 | - | - | - | | 2.2650 | 2000 | 0.0135 | 0.0311 | 0.5361 | - | | 2.8313 | 2500 | 0.0085 | - | - | - | | 3.3975 | 3000 | 0.0074 | 0.0310 | 0.5352 | - | | 3.9638 | 3500 | 0.0054 | - | - | - | | 4.5300 | 4000 | 0.0045 | 0.0308 | 0.5460 | - | | 5.0 | 4415 | - | - | - | 0.5613 | ### Framework Versions - Python: 3.10.12 - Sentence Transformers: 3.3.1 - Transformers: 4.47.1 - PyTorch: 2.5.1+cu121 - Accelerate: 1.2.1 - Datasets: 3.2.0 - Tokenizers: 0.21.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ```