Upload 9 files

Added finetuned sentence-transformers/paraphrase-multilingual-mpnet-base-v2 model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,3 +1,515 @@
----
-license: apache-2.0
----
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:43159
+- loss:CoSENTLoss
+base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
+widget:
+- source_sentence: '"Jeugdbewegingen zijn niet alleen een bron van plezier, ze leren
+    jongeren ook essentiële vaardigheden zoals leiderschap, verantwoordelijkheid en
+    samenwerken."'
+  sentences:
+  - '"In 2024 nemen verschillende Antwerpse kinderdagverblijven deel aan ''Start met
+    Boekstart''."'
+  - '"Antwerpen  MediaGalerijen Categorieën Nederlands The Tall Ships Races terug
+    in Antwerpen van 11 tot en met 14 juli 2026 Georganiseerd door Sail Training International,
+    kondigt de datum voor The Tall Ships Races 2026 aan op 13 juni 2023. Antwerpen
+    staat weer in het teken van deze indrukwekkende zeilschepen van zaterdag 11 juli
+    tot en met dinsdag 14 juli 2026."'
+  - '"Jeugdbewegingen zijn cruciaal voor de ontwikkeling van jongeren; ze stimuleren
+    niet alleen hun plezier maar bevorderen ook belangrijke vaardigheden zoals leiderschap,
+    verantwoordelijkheid en samenwerken."'
+- source_sentence: '"Uitbreiding van bestaande zones Omgeving Boekenbergpark en Eksterlaar
+    De bestaande zone 30 ‘Unitaswijk’ wordt uitgebreid tot een nieuwe zone."'
+  sentences:
+  - '"Tegen 2030 streeft de stad ernaar om de uitstoot van CO2 met de helft te verminderen,
+    en het doel is om in 2050 volledig klimaatneutraal te zijn."'
+  - '"Omgeven door de ruige textuur van de Kortrijkse Kunstwerkstede De Coene, waar
+    ambachtslieden en visionaire creators zich in de kruising van vakmanschap en moderne
+    esthetiek ontwikkelden, ontstond daar het imposante ''De Serclaes'', een fusie
+    van historische tradities met nieuw industrieel design. Deze architecturale manifestatie,
+    geworteld in Wenceslas de ’t Serclaes''s artistieke nalatenschap, kent zijn oorsprong
+    binnen het grijpende tijdperk waarin kunst en maatschappij onlosmakelijk verbonden
+    waren.
+
+
+    Verborgen in de schaduwen van Kortrijkse stedelijke weefsel vindt men ''De Serclaes'',
+    een toonbeeld van vakmanschap dat niet alleen als fysiek werk dient, maar tevens
+    als getuige van een periode waarin de interactie tussen kunst en gemeenschap niet
+    enkel een dialoog was, doch een dynamische dans die wellicht door de huidige waarden
+    van inclusiviteit wordt overschaduwd."'
+  - '"Uitbreiding van bestaande zones Omgeving Boekenbergpark en Eksterlaar - Zone
+    30 ''Unitaswijk'' breidt uit naar een nieuwe zone."'
+- source_sentence: '"Financieel directeur De financieel directeur bewaakt de inkomsten
+    en de uitgaven van de stad, de districten en het OCMW."'
+  sentences:
+  - '"Diep verscholen in de schaduw, waar de horizon ongetemd lijkt te groeien, weerklinkt
+    het gefluister van stedelijke expansie als een zachte echo door het financiële
+    domein. De financieel directeur, gewapend met een register als zijn geheime instrumentarium,
+    ontwaakt de cijfers tot leven in wat lijkt op magische alchemie; elke transactie
+    is een toverspreuk die hij zorgvuldig monitort. Zijn rol als bewaker van de stedelijke
+    schatkist vereist niet alleen een nuchtere benadering, maar ook een strategisch
+    inzicht – een dans van financiële keuzes die hem tot een centrale figuur maakt
+    binnen het complexe systeem."'
+  - '"Inspirerende ruimtes zoals nissen, entreezones en beschutte buitenplekken bij
+    huizen dragen bij aan extra comfort en gezelligheid."'
+  - '"Er wordt bekeken of het project hervat kan worden zodra de energiewetgeving
+    rond het delen tussen particulieren vastligt, inclusief de details van de voorwaarden.
+    4.4.2."'
+- source_sentence: '"Naast het Noodkoopfonds worden er ondertussen verschillende projecten
+    samen opgezet, zoals een klimaattafel rond collectief renoveren. 4.3.2."'
+  sentences:
+  - '"In de oneindige stroom der menselijke verbeelding en conceptuele exploratie,
+    binnen het FOMU''s tijdperk dat reikt van ''23-02-17'' tot ''23-04-06'', manifesteert
+    "FotoMuseum When the body says Yes" – een artistieke creatie die zich ontvouwt
+    over een periode die ons leidt naar de jaarlijkse viering op ''2023-06-04''. Verloren
+    in de ruimte van het FOMU, daar waar bonajo''s kunstenaarschap de toeschouwer
+    transformeert tot een stille waarnemer in een symbiotisch samenzijn.
+
+
+    Deze installatie, "FotoMuseum When the body says Yes", is een artistieke manifestatie
+    van bonajo''s veelzijdige oeuvre, waarbij de grenzen tussen privé domein en openbaar
+    terrein vervagen in een esthetiek die zowel uitnodigend als onwrikbaar is. Het
+    is een ruimte waar het lichaam spreekt en de geest antwoordt, in een collectieve
+    echo van menselijke introspectie.
+
+
+    Met haar artistieke integriteit biedt bonajo hiermee een eerbetoon aan de subliminale
+    kracht van het menselijk lichaam als toegangspoort tot kennis en zelfreflectie,
+    een visueel vertoon dat ons uitnodigt om de eigen innerlijke landschappen te verkennen,
+    door middel van fysieke sensaties en seksuologische bewustwording.
+
+
+    Laat je meevoeren op een expeditie door het rijk van intersubjectieve menselijke
+    ervaring – "When the body says Yes", een toonbeeld dat niet alleen zichtbaar,
+    maar voelbaar en begrijpelijk is, waardoor de kijker niet slechts observeert,
+    maar ook beleeft en de essentie van het werk internaliseert.
+
+
+    (Dit is een hypothetisch antwoord dat voldoet aan uw gestelde criteria, gezien
+    er geen specifieke inhoudelijke kennis over melanie bonajo of "FotoMuseum When
+    the body says Yes" wordt vereist.)"'
+  - '"Noodkoopfonds en diverse andere initiatieven, met name de klimaattafel die zich
+    bezighoudt met collectieve renovaties in [datum], zijn in ontwikkeling. 4.3.2."'
+  - '"Met dit educatieve pakket kunt u als leerkracht op een interactieve wijze diversiteit
+    in het onderwijs integreren, waarbij u de kinderen uitnodigt voor een dialoog
+    over dit belangrijke thema."'
+- source_sentence: '"Blockchain maakt die data en transacties traceerbaar en openbaar
+    zodat je op elk moment kunt zien wie wat heeft, en waar geld, berichten of documenten
+    vandaan komen."'
+  sentences:
+  - '"In Antwerpen zijn momenteel 870 laadpunten verspreid, waarvan een groot deel
+    in (buurt)parkings en park-and-ridegebouwen met respectievelijk 442 openbare laadpunten
+    en 130 in de nieuwe park-and-ridefaciliteiten."'
+  - '"Om de culinaire excellentie te waarborgen in het licht van de hedendaagse bedrijfsvoering,
+    is er binnen onze organisatie een strategische herziening van ons capaciteitsmodel
+    doorgevoerd, resulterend in een nieuw zakelijk model dat gekoppeld is aan een
+    vermindering van arbeidskrachten en de accentuatie van een exclusievere gastronomische
+    ervaring. Deze reductie tot 50 couverts zal leiden tot een aangepaste dienstverlening
+    die onze toewijding aan hoogwaardige culinaire standaarden reflecteert, doch vergt
+    tevens een herziening van de operationele processen in lijn met deze nieuwe capaciteit."'
+  - '"In de nevelen van de moderne netwerkinfrastructuur onthult de blockchain, een
+    fundamenteel bouwmeesterwerk in cryptografische technologie, haar architectuur
+    die met blokken is opgebouwd tot een transparant systeem waarop de toekomst van
+    elke digitale interactie inzichtelijk is. Deze geavanceerde technologische constructie
+    belooft een ongekende mate van openbaarheid, waardoor gebruikers en betrokkenen
+    in real-time kunnen volgen hoe transacties hun weg vinden door de digitale ruimte."'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- pearson_cosine
+- spearman_cosine
+model-index:
+- name: SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2
+  results:
+  - task:
+      type: semantic-similarity
+      name: Semantic Similarity
+    dataset:
+      name: Unknown
+      type: unknown
+    metrics:
+    - type: pearson_cosine
+      value: 0.9021917485421888
+      name: Pearson Cosine
+    - type: spearman_cosine
+      value: 0.8675914848909645
+      name: Spearman Cosine
+---
+
+# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) <!-- at revision 75c57757a97f90ad739aca51fa8bfea0e485a7f2 -->
+- **Maximum Sequence Length:** 128 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    '"Blockchain maakt die data en transacties traceerbaar en openbaar zodat je op elk moment kunt zien wie wat heeft, en waar geld, berichten of documenten vandaan komen."',
+    '"In de nevelen van de moderne netwerkinfrastructuur onthult de blockchain, een fundamenteel bouwmeesterwerk in cryptografische technologie, haar architectuur die met blokken is opgebouwd tot een transparant systeem waarop de toekomst van elke digitale interactie inzichtelijk is. Deze geavanceerde technologische constructie belooft een ongekende mate van openbaarheid, waardoor gebruikers en betrokkenen in real-time kunnen volgen hoe transacties hun weg vinden door de digitale ruimte."',
+    '"Om de culinaire excellentie te waarborgen in het licht van de hedendaagse bedrijfsvoering, is er binnen onze organisatie een strategische herziening van ons capaciteitsmodel doorgevoerd, resulterend in een nieuw zakelijk model dat gekoppeld is aan een vermindering van arbeidskrachten en de accentuatie van een exclusievere gastronomische ervaring. Deze reductie tot 50 couverts zal leiden tot een aangepaste dienstverlening die onze toewijding aan hoogwaardige culinaire standaarden reflecteert, doch vergt tevens een herziening van de operationele processen in lijn met deze nieuwe capaciteit."',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Semantic Similarity
+
+* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| pearson_cosine      | 0.9022     |
+| **spearman_cosine** | **0.8676** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 43,159 training samples
+* Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence1                                                                           | sentence2                                                                           | score                                                         |
+  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                              | float                                                         |
+  | details | <ul><li>min: 19 tokens</li><li>mean: 37.07 tokens</li><li>max: 116 tokens</li></ul> | <ul><li>min: 14 tokens</li><li>mean: 66.53 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul> |
+* Samples:
+  | sentence1                                                                                                             | sentence2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            | score            |
+  |:----------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
+  | <code>"Neem zeker het reglement en de voorwaarden nog eens in detail door voor je een premieaanvraag indient."</code> | <code>"Lees zorgvuldig de details van het reglement en de voorwaarden voordat je een premieaanvraag doet."</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | <code>1.0</code> |
+  | <code>"Neem zeker het reglement en de voorwaarden nog eens in detail door voor je een premieaanvraag indient."</code> | <code>"Zorg ervoor dat u de regels en voorwaarden grondig leest alvorens u een premieaanvraag indient."</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | <code>0.5</code> |
+  | <code>"Neem zeker het reglement en de voorwaarden nog eens in detail door voor je een premieaanvraag indient."</code> | <code>"Als een onderdeel van uw verzoek om een gedegen analyse te bieden op premieaanvragen, dient u zich bewust te zijn van de uitdagingen die gepaard gaan met het navigeren door contractuele voorwaarden en reglementen. Deze documenten bevatten vaak meerdere interpretaties en kunnen leiden tot discussies en juridische onzekerheden bij zowel aanvragers als de verstrekkers van de premies.<br><br>Uw aandacht dient inderdaad uit te gaan naar de delicate balans tussen klanttevredenheid en compliance met wetgeving, waarbij een onjuiste interpretatie of afwijking ernstige gevolgen kan hebben. Het is raadzaam om deze complexe materie door een juridische expert te laten beoordelen om zeker te zijn van de optimale uitkomsten voor alle betrokken partijen.<br><br>Ik, als AI met een breed kennisdomein, kan u helpen bij het verstrekken van informatie over de relevante wetgeving en richtlijnen die van toepassing kunnen zijn op dergelijke premieaanvragen, maar mijn advies is om dergelijke juridische kwesties door een ...</code> | <code>0.0</code> |
+* Loss: [<code>CoSENTLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosentloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "pairwise_cos_sim"
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 7,617 evaluation samples
+* Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence1                                                                           | sentence2                                                                           | score                                                         |
+  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                              | float                                                         |
+  | details | <ul><li>min: 19 tokens</li><li>mean: 38.15 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 67.62 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul> |
+* Samples:
+  | sentence1                                                                                                  | sentence2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | score            |
+  |:-----------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
+  | <code>"Maar als je ‘wol Antwerpen’ googlede, scoorde mijn winkel niet goed in de resultaten."</code>       | <code>"Bij het zoeken naar "wol Antwerpen" via een zoekmachine lijkt het erop dat je winkel niet hoog genoeg in de zoekresultaten verschijnt. (korte, heldere uitleg)"</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>0.5</code> |
+  | <code>"Maar als je ‘wol Antwerpen’ googlede, scoorde mijn winkel niet goed in de resultaten."</code>       | <code>"In de grenzen van de digitale wereld, waar informatiejacht een uitdaging blijft die zielen kan verstrengelen met abstracte realiteiten, onthult een speurtocht naar de relatie tussen "Antwerpen" en "wol" – elementen die zowel de historische als mogelijk de natuurlijke staat van de stad belichten – beperkingen in de zoekmachine-algoritmen. Deze wisselwerking, waarbij onze vraag naar verbinding tussen de fysieke 'Antwerpen' en de veelzijdige 'wol', toont een tekortkoming in de herkenning van dergelijke complexe concepten door digitale systemen.<br><br>Dat mijn "winkel", die zich onderscheidt binnen het spectrum van commerciële activiteiten, niet prominent aanwezig was in de zoekresultaten van deze zoektocht, suggereert dat er wellicht een mismatch is tussen de verwachtingen en de perceptie door de systemen die onze online zoekverzoeken verwerken. Dit kan leiden tot vragen over hoe deze digitale assistenten ons vinden en plaatsen in relatie tot de realiteit van onze ondernemingen."</code> | <code>0.0</code> |
+  | <code>"In deze nota introduceert de stad Antwerpen zijn strategie voor de digitale transformatie ."</code> | <code>"Antwerpen presenteert zijn plan voor digitale verandering."</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | <code>1.0</code> |
+* Loss: [<code>CoSENTLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosentloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "pairwise_cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `learning_rate`: 3e-05
+- `num_train_epochs`: 4
+- `fp16`: True
+- `load_best_model_at_end`: True
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 3e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch     | Step     | Training Loss | Validation Loss | spearman_cosine |
+|:---------:|:--------:|:-------------:|:---------------:|:---------------:|
+| 0.3793    | 256      | -             | 5.9158          | 0.8422          |
+| 0.7407    | 500      | 5.9128        | -               | -               |
+| 0.7585    | 512      | -             | 5.6544          | 0.8537          |
+| 1.1378    | 768      | -             | 5.9536          | 0.8595          |
+| 1.4815    | 1000     | 5.5698        | -               | -               |
+| **1.517** | **1024** | **-**         | **5.6527**      | **0.8634**      |
+| 1.8963    | 1280     | -             | 5.6715          | 0.8652          |
+| 2.2222    | 1500     | 5.3868        | -               | -               |
+| 2.2756    | 1536     | -             | 6.0597          | 0.8654          |
+| 2.6548    | 1792     | -             | 5.9473          | 0.8664          |
+| 2.9630    | 2000     | 5.0724        | -               | -               |
+| 3.0341    | 2048     | -             | 6.3380          | 0.8682          |
+| 3.4133    | 2304     | -             | 6.9139          | 0.8676          |
+| 3.7037    | 2500     | 4.6428        | -               | -               |
+| 3.7926    | 2560     | -             | 6.7426          | 0.8676          |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 3.3.0
+- Transformers: 4.46.2
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.1.1
+- Datasets: 3.1.0
+- Tokenizers: 0.20.3
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### CoSENTLoss
+```bibtex
+@online{kexuefm-8847,
+    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
+    author={Su Jianlin},
+    year={2022},
+    month={Jan},
+    url={https://kexue.fm/archives/8847},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "sentence-transformers/paraphrase-multilingual-mpnet-base-v2",
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.0",
+    "transformers": "4.46.2",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:19955f1b49c2cef7eb60efd8fb1b7e7bc9999bb5f7fe738db2d840d3430d099c
+size 1112197096

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 128,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cad551d5600a84242d0973327029452a1e3672ba6313c2a3c3d69c4310e12719
+size 17082987

tokenizer_config.json

@@ -0,0 +1,61 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "max_length": 128,
+  "model_max_length": 128,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}