--- base_model: intfloat/multilingual-e5-large language: - multilingual library_name: sentence-transformers license: apache-2.0 metrics: - cosine_accuracy - dot_accuracy - manhattan_accuracy - euclidean_accuracy - max_accuracy pipeline_tag: sentence-similarity tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:1765 - loss:TripletLoss widget: - source_sentence: Hormigonado de zanjas y pozos de cimentación, con hormigón en masa, con 20% de áridos de material reciclado de hormigones, HRM - 30 / B / 20 / XA2 con una cantidad de cemento de 350 kg/m3 i relación agua cemento =< 0.5, colocado desde camión sentences: - Tubo de acero inoxidable 1.4307 (AISI 304L) con soldadura longitudinal, de 22 mm de diámetro exterior y 0,7 mm de espesor de pared, serie 1 conforme a UNE-EN 10312, conexión a presión, con nivel de dificultad elevado y instalado de forma empotrada. - Vertido de hormigón en zanjas y cimientos, utilizando hormigón masivo con un 20% de áridos reciclados, tipo HRM - 30 / B / 20 / XA2, con una dosificación de cemento de 350 kg/m3 y una relación agua-cemento menor o igual a 0.5, aplicado directamente desde el camión. - Colocación de paneles de yeso en interiores, utilizando yeso laminado, con un espesor de 12.5 mm y una resistencia al fuego de tipo F30, aplicando una mezcla de adhesivo con una proporción de agua de 0.4, instalado manualmente. - source_sentence: Pavimento de loseta para acera gris de 20x20x4 cm, clase 1a, precio alto, sobre soporte de 3 cm de arena, colocado a pique de maceta con mortero mixto 1:2:10 y lechada de cemento pórtland, en entorno urbano sin dificultad de movilidad, en aceras > 5 m de ancho o calzada/plataforma única > 12 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de más de 10 m2 sentences: - Losas de concreto de 60x40 cm y 8 cm de grosor, con acabado rugoso, instaladas con mortero de cemento 1:6 y juntas selladas, en áreas urbanas con fácil acceso, en aceras de más de 3 y hasta 5 m de ancho o en calzadas de más de 7 y hasta 12 m de ancho, sin interferencias de servicios públicos o mobiliario urbano, en proyectos de hasta 1 m2. - Pavimento de loseta para jardín verde de 30x30x5 cm, clase 2b, precio bajo, sobre soporte de 5 cm de grava, colocado a nivel de césped con tierra orgánica y mezcla de arena, en entorno rural con dificultad de acceso, en jardines < 10 m de ancho o senderos individuales < 5 m de ancho, sin afectación por servicios o elementos de jardinería, en actuaciones de menos de 5 m2. - Loseta de pavimento gris de 20x20x4 cm, clase 1a, de alto costo, instalada sobre una base de 3 cm de arena, fijada a nivel de maceta con mortero 1:2:10 y lechada de cemento pórtland, en un área urbana con fácil acceso, en aceras de más de 5 m de ancho o plataformas de más de 12 m de ancho, considerando la interferencia de servicios o mobiliario urbano, para proyectos que superen los 10 m2. - source_sentence: Derivación a 90° reducida de polietileno PE 100 de fabricación inyectada con ramal a 90° DN 110 para una unión soldadura a tope, presión nominal PN 16 (SDR 11), fabricación según norma UNE-EN 12201-3, para una unión soldadura a tope, soldadura a tope y colocada en el fondo de la zanja, en entorno urbano sin dificultad de movilidad, afectación por presencia de servicios en la zanja, sin presencia de entibación sentences: - Derivación a 45° de PVC tipo 1 con ramal a 45° DN 75 para una conexión mediante pegamento, presión nominal PN 10 (SDR 13.5), fabricación según norma UNE-EN 1452-2, para una conexión mediante pegamento, instalada en la parte superior de la estructura, en un entorno rural con acceso restringido, sin interferencia de servicios en la zona, con necesidad de entibación. - Ventana de aluminio anodizado en acabado natural, con rotura de puente térmico, instalada sobre un premarco, compuesta por tres hojas abatibles, diseñada para un espacio de obra de aproximadamente 240x120 cm, fabricada con perfiles de alta calidad, con una clasificación mínima de 4 en permeabilidad al aire según UNE-EN 12207, clasificación mínima 9A en estanqueidad al agua según UNE-EN 12208 y clasificación mínima C4 en resistencia al viento según UNE-EN 12210, incluyendo caja de persiana y guías. - Derivación de polietileno PE 100 a 90° de fabricación inyectada, DN 110, para unión mediante soldadura a tope, con presión nominal PN 16 (SDR 11), conforme a la norma UNE-EN 12201-3, instalada en el fondo de la zanja en un entorno urbano, sin complicaciones de movilidad y con servicios presentes en la zanja, sin necesidad de entibación. - source_sentence: Pavimento de pieza rectangular de hormigón doble capa, gris, de 10x20 cm y 8 cm de espesor, precio alto, para pavimento drenante, sobre lecho de arena de 3 cm de espesor, compactación del pavimento y rejuntado con mortero de cemento 1:6, en entorno urbano con dificultad de mobilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m2 sentences: - Colocación de losas de cimentación utilizando hormigón armado, incorporando un 20% de áridos reciclados, aditivo hidrófugo HRA - 35 / B / 20 / XC4 + XS1 + XA2, con una dosificación de cemento de 400 kg/m3 y una relación agua-cemento menor o igual a 0.5, vertido mediante cubilote. - Losas de hormigón rectangular de doble capa, color gris, de dimensiones 10x20 cm y 8 cm de grosor, de alto costo, diseñadas para pavimentos permeables, colocadas sobre una base de arena de 3 cm de grosor, con compactación del suelo y rejuntado utilizando mortero de cemento en proporción 1:6, en un entorno urbano con movilidad restringida, en aceras de hasta 3 m de ancho o en calzadas/plataformas de hasta 7 m de ancho, considerando la interferencia de servicios o elementos de mobiliario urbano, en proyectos de hasta 1 m2. - Pavimento de losa cuadrada de cerámica simple, color beige, de 30x30 cm y 1 cm de espesor, precio bajo, para revestimiento decorativo, sobre base de grava de 5 cm de espesor, sin necesidad de compactación y sin rejuntado, en entorno rural con fácil acceso, en jardines o patios de más de 10 m2, sin interferencias por instalaciones o elementos de jardinería, en proyectos de más de 5 m2. - source_sentence: Formación de junta de trabajo interior, en piezas hormigonadas 'in situ', con junta de PVC de 24 cm de ancho y de 3,5 mm de espesor sentences: - Instalación de paneles prefabricados, utilizando sellador de silicona de 12 cm de ancho y 5 mm de espesor. - Ventana de aluminio anodizado con rotura de puente térmico, instalada sobre un premarco, con una hoja oscilobatiente, diseñada para un hueco de obra de aproximadamente 90x120 cm, fabricada con perfiles de alta calidad, cumpliendo con la clasificación mínima 4 de permeabilidad al aire según UNE-EN 12207, clasificación mínima 9A de estanqueidad al agua según UNE-EN 12208 y clasificación mínima C5 de resistencia al viento según UNE-EN 12210, incluyendo caja de persiana y guías. - Instalación de juntas de trabajo internas en elementos de hormigón vertido 'in situ', utilizando juntas de PVC de 24 cm de ancho y 3,5 mm de grosor. model-index: - name: Multilingual E5 Large trained with triplet loss results: - task: type: triplet name: Triplet dataset: name: validation set type: validation-set metrics: - type: cosine_accuracy value: 0.9715909090909091 name: Cosine Accuracy - type: dot_accuracy value: 0.028409090909090908 name: Dot Accuracy - type: manhattan_accuracy value: 0.9715909090909091 name: Manhattan Accuracy - type: euclidean_accuracy value: 0.9715909090909091 name: Euclidean Accuracy - type: max_accuracy value: 0.9715909090909091 name: Max Accuracy - task: type: triplet name: Triplet dataset: name: test set type: test-set metrics: - type: cosine_accuracy value: 0.9943502824858758 name: Cosine Accuracy - type: dot_accuracy value: 0.005649717514124294 name: Dot Accuracy - type: manhattan_accuracy value: 0.9943502824858758 name: Manhattan Accuracy - type: euclidean_accuracy value: 0.9943502824858758 name: Euclidean Accuracy - type: max_accuracy value: 0.9943502824858758 name: Max Accuracy --- # Multilingual E5 Large trained with triplet loss This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 1024 tokens - **Similarity Function:** Cosine Similarity - **Training Dataset:** - csv - **Language:** multilingual - **License:** apache-2.0 ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Normalize() ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("RamsesDIIP/me5-large-construction") # Run inference sentences = [ "Formación de junta de trabajo interior, en piezas hormigonadas 'in situ', con junta de PVC de 24 cm de ancho y de 3,5 mm de espesor", "Instalación de juntas de trabajo internas en elementos de hormigón vertido 'in situ', utilizando juntas de PVC de 24 cm de ancho y 3,5 mm de grosor.", 'Instalación de paneles prefabricados, utilizando sellador de silicona de 12 cm de ancho y 5 mm de espesor.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 1024] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Triplet * Dataset: `validation-set` * Evaluated with [TripletEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) | Metric | Value | |:-------------------|:-----------| | cosine_accuracy | 0.9716 | | dot_accuracy | 0.0284 | | manhattan_accuracy | 0.9716 | | euclidean_accuracy | 0.9716 | | **max_accuracy** | **0.9716** | #### Triplet * Dataset: `test-set` * Evaluated with [TripletEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) | Metric | Value | |:-------------------|:-----------| | cosine_accuracy | 0.9944 | | dot_accuracy | 0.0056 | | manhattan_accuracy | 0.9944 | | euclidean_accuracy | 0.9944 | | **max_accuracy** | **0.9944** | ## Training Details ### Training Dataset #### csv * Dataset: csv * Size: 1,765 training samples * Columns: anchor, positive, and negative * Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | string | | details | | | | * Samples: | anchor | positive | negative | |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Placas nervadas tipo pi o doble t de hormigón armado, de 35 cm de altura y 120 a 140 cm de anchura, con junta lateral abierta inferiormente, de 205 a 220 kN·m de momento flector último por m de ancho, para una luz máxima de 12 m, para forjado con capa de compresión mínima de 10 cm, colocadas sobre estructura | Placas de hormigón armado tipo pi o doble t, con dimensiones de 35 cm de altura y entre 120 y 140 cm de ancho, diseñadas con junta lateral abierta en la parte inferior, capaces de soportar un momento flector último de 205 a 220 kN·m por metro de ancho, adecuadas para luces de hasta 12 m y con un forjado que incluya una capa de compresión mínima de 10 cm, instaladas sobre una estructura. | Placas de yeso laminado de 35 cm de altura y 120 a 140 cm de anchura, con junta lateral cerrada, para una luz máxima de 12 m, para tabiques con aislamiento acústico de 10 cm, colocadas sobre estructura. | | Puerta cortafuegos de una hoja corredera de acero galvanizado, EI2-C 60, para un hueco de obra de más de 12 m2, colocada | Puerta cortafuegos de una sola hoja deslizante de acero galvanizado, clasificación EI2-C 60, instalada en un espacio de obra superior a 12 m2. | Puerta de acceso principal de madera maciza, sin clasificación de resistencia al fuego, para un espacio de almacenamiento de menos de 10 m2, instalada. | | Pavimento de mezcla bituminosa continua en caliente tipo AC 32 bin B 50/70 S, con betún asfáltico de penetración, de granulometría semidensa para capa intermedia y árido calcáreo, extendida y compactada, en entorno urbano sin dificultad de movilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m2 | Pavimento de asfalto continuo en caliente tipo AC 32 bin B 50/70 S, utilizando betún asfáltico de penetración y granulometría semidensa para la capa intermedia, con árido calcáreo, aplicado y compactado en áreas urbanas con buena accesibilidad, en aceras de más de 3 y hasta 5 m de ancho o calzadas/plataformas únicas de más de 7 y hasta 12 m de ancho, considerando la interferencia de servicios o mobiliario urbano, en proyectos de hasta 1 m2. | Pavimento de hormigón armado con aditivos especiales para mejorar la resistencia a la compresión, diseñado para áreas industriales con tráfico pesado, en losas de más de 10 m de ancho, sin restricciones de acceso, en proyectos de más de 50 m2. | * Loss: [TripletLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters: ```json { "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 } ``` ### Evaluation Dataset #### csv * Dataset: csv * Size: 1,765 evaluation samples * Columns: anchor, positive, and negative * Approximate statistics based on the first 1000 samples: | | anchor | positive | negative | |:--------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | string | | details | | | | * Samples: | anchor | positive | negative | |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Perforación de pantalla en terreno blando, de 45 cm de espesor con lodo tixotrópico y hormigonado con hormigón HA-35/L / 10 / IIa de consistencia líquida, tamaño máximo del árido 10 mm, con >= 375 kg/m3 de cemento, aditivo hidrófugo/superplastificante, apto para clase de exposición IIa, con el equipo de lodos incluido | Perforación de pantalla en suelo blando de 45 cm de grosor, utilizando lodo tixotrópico y hormigón HA-35/L / 10 / IIa de consistencia fluida, con un tamaño máximo de árido de 10 mm, conteniendo al menos 375 kg/m3 de cemento, aditivo hidrófugo y superplastificante, adecuado para la clase de exposición IIa, incluyendo el equipo de lodos necesario. | Instalación de paneles solares en terreno duro, con una base de 60 cm de espesor y utilizando cemento convencional, sin aditivos especiales, apto para condiciones climáticas extremas, con un equipo de montaje estándar. | | Falso techo de lamas de aluminio prelacado, con canto circular con pestaña, de 185 mm de anchura y 16 mm de altura, color estándar, con la superficie perforada, montadas en posición horizontal, separadas 15 mm, fijadas a presión sobre estructura de perfiles omega con troquel para fijación clipada de acero galvanizado, con perfil de refuerzo, separados <= 1.5 m, colgados con supensión autoniveladora de barra roscada, separadas <= 1.2 m, fijadas mecánicamente al forjado | Techo falso de paneles de aluminio prelacado, con borde redondeado y pestaña, de 185 mm de ancho y 16 mm de alto, en color estándar, con perforaciones en la superficie, instalados horizontalmente, con una separación de 15 mm, asegurados a presión sobre una estructura de perfiles omega con troqueles para fijación clipada de acero galvanizado, reforzados con perfiles, separados a un máximo de 1.5 m, suspendidos con un sistema autonivelador de barra roscada, separados a un máximo de 1.2 m, fijados mecánicamente al forjado. | Techo acústico de paneles de yeso laminado, con borde recto, de 120 mm de ancho y 12 mm de grosor, acabado en pintura mate, con superficie lisa, instalados en posición vertical, separados 20 mm, fijados con adhesivo sobre estructura de perfiles en U, con refuerzo de madera, separados <= 2 m, suspendidos con cables ajustables, separados <= 1.5 m, fijados a la pared. | | Canalización con uno tubo curvable corrugado de polietileno de 110 mm de diámetro nominal, de doble capa, y dado de recubrimiento de 40x30 cm con hormigón de uso no estructural HNE-20/P/20 de resistencia a compresión 20 N/mm2, consistencia plástica y tamaño máximo del árido 20 mm, cuerda guía en cada tubo, parte proporcional de accesorios de unión, separadores y obturadores, en entorno urbano sin dificultad de movilidad, en aceras > 5 m de ancho o calzada/plataforma única > 12 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m | Instalación de un sistema de canalización utilizando un tubo flexible corrugado de polietileno de 110 mm de diámetro nominal, con doble capa, y recubierto con hormigón no estructural HNE-20/P/20 de resistencia a compresión de 20 N/mm2, consistencia plástica y un tamaño máximo de árido de 20 mm, incluyendo cuerda guía en cada tubo, así como la proporción adecuada de accesorios de unión, separadores y obturadores, en un entorno urbano con fácil acceso, en aceras de más de 5 m de ancho o calzadas/plataformas de más de 12 m de ancho, sin interferencias de servicios o elementos de mobiliario urbano, en proyectos de hasta 1 m de profundidad. | Instalación de un sistema de drenaje con tuberías de PVC rígido de 75 mm de diámetro, de una sola capa, y revestimiento de 30x20 cm con asfalto de alta resistencia, diseñado para soportar cargas estructurales, con una resistencia a compresión de 30 N/mm2, consistencia seca y tamaño máximo del árido de 10 mm, sin cuerda guía, incluyendo una cantidad adecuada de conectores, soportes y tapas, en un entorno rural con acceso limitado, en caminos de tierra de menos de 3 m de ancho, con interferencias por servicios públicos y elementos de paisajismo, en proyectos de más de 2 m. | * Loss: [TripletLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters: ```json { "distance_metric": "TripletDistanceMetric.EUCLIDEAN", "triplet_margin": 5 } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `learning_rate`: 2e-05 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 3 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `eval_use_gather_object`: False - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | Validation Loss | validation-set_max_accuracy | test-set_max_accuracy | |:------:|:----:|:-------------:|:---------------:|:---------------------------:|:---------------------:| | 0 | 0 | - | - | 0.9830 | - | | 0.2833 | 100 | 4.4372 | 3.6833 | 1.0 | - | | 0.5666 | 200 | 3.724 | 3.4490 | 0.9943 | - | | 0.8499 | 300 | 3.5575 | 3.5777 | 0.9886 | - | | 1.1331 | 400 | 3.4996 | 3.4224 | 0.9773 | - | | 1.4164 | 500 | 3.4846 | 3.3883 | 0.9943 | - | | 1.6997 | 600 | 3.4126 | 3.4181 | 0.9886 | - | | 1.9830 | 700 | 3.3225 | 3.3863 | 0.9773 | - | | 2.2663 | 800 | 3.3446 | 3.3971 | 0.9716 | - | | 2.5496 | 900 | 3.3351 | 3.3816 | 0.9773 | - | | 2.8329 | 1000 | 3.2597 | 3.3936 | 0.9716 | - | | 3.0 | 1059 | - | - | - | 0.9944 | ### Framework Versions - Python: 3.10.12 - Sentence Transformers: 3.2.0 - Transformers: 4.44.2 - PyTorch: 2.4.1+cu121 - Accelerate: 0.34.2 - Datasets: 3.0.1 - Tokenizers: 0.19.1 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### TripletLoss ```bibtex @misc{hermans2017defense, title={In Defense of the Triplet Loss for Person Re-Identification}, author={Alexander Hermans and Lucas Beyer and Bastian Leibe}, year={2017}, eprint={1703.07737}, archivePrefix={arXiv}, primaryClass={cs.CV} } ```