Update README.md

README.md

@@ -11,68 +11,45 @@ model-index:
 
 <!-- This model card has been generated automatically according to the information the Trainer had access to. You
 should probably proofread and complete it, then remove this comment. -->
+<!-- Email de contacto para´posibles preguntas sobre el modelo. -->
 
-# spanish_medica_llm
-
-This model is a fine-tuned version of [BioMistral/BioMistral-7B](https://huggingface.co/BioMistral/BioMistral-7B) on an unknown dataset.
-
-## Model description
-
-More information needed
-
-## Intended uses & limitations
-
-More information needed
-
-## Training and evaluation data
+<!---  ############################################################################################################################### -----!>
+<!--
+Esta plantilla de Model Card es una adaptación de la de Hugging Face: https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md
 
-More information needed
+¿Cómo utilizar esta plantilla? Copia el contenido en el README.md del repo de tu modelo en el Hub de Hugging Face y rellena cada sección.
 
-## Training procedure
+Para más información sobre cómo rellenar cada sección ver las docs: https://huggingface.co/docs/hub/model-cards
+-->
 
-### Training hyperparameters
+# Model Card for SpanishMedicaLLM
 
-The following hyperparameters were used during training:
-- learning_rate: 2.5e-05
-- train_batch_size: 16
-- eval_batch_size: 1
-- seed: 42
-- gradient_accumulation_steps: 4
-- total_train_batch_size: 64
-- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
-- lr_scheduler_type: linear
-- lr_scheduler_warmup_steps: 5
-- training_steps: 2
-- mixed_precision_training: Native AMP
+<!--
 
-### Training results
+Nombre del modelo:
 
+Suele haber un nombre corto ("pretty name") para las URLs, tablas y demás y uno largo más descriptivo. Para crear el pretty name podéis utilizar acrónimos.
 
+Idioma:
 
-### Framework versions
+La Model Card puede estar en español o en inglés. Recomendamos que sea en inglés para que la comunidad internacional pueda utilizar vuestro dataset. Teniendo en cuenta que somos una comunidad hispanohablante y no queremos que el idioma sea una barrera, la opción más inclusiva sería escribirla en un idioma y traducirla (automáticamente?) al otro. En el repo entonces habría un README.md (Model Card en inglés) que enlazaría a un README_ES.md (Model Card en español), o viceversa, README.md y README_EN.md. Si necesitáis apoyo con la traducción os podemos ayudar.
 
-- PEFT 0.10.0
-- Transformers 4.38.0
-- Pytorch 2.2.2+cu121
-- Datasets 2.18.0
-- Tokenizers 0.15.2
+Qué incluir en esta sección:
 
-<! --- ############################################################## ----->
-<!--
-Esta plantilla de Model Card es una adaptación de la de Hugging Face: https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md
+Esta sección es como el abstract. Escribir un resumen del modelo y motivación del proyecto (inc. los ODS relacionados).  Si el proyecto tiene un logo, incluidlo aquí.
 
-¿Cómo utilizar esta plantilla? Copia el contenido en el README.md del repo de tu modelo en el Hub de Hugging Face y rellena cada sección.
+Si queréis incluir una versión de la Model Card en español, enlazadla aquí al principio (e.g. "A Spanish version of this Model Card can be found under [`README_es.md`](URL)"). De manera análoga para el inglés.
 
-Para más información sobre cómo rellenar cada sección ver las docs: https://huggingface.co/docs/hub/model-cards
 -->
 
-# Model Card for < Nombre del modelo >
-
-<!-- Suele haber un nombre corto ("pretty name") para las URLs, tablas y demás y uno largo más descriptivo. Para crear el pretty name podéis utilizar acrónimos. -->
-
-<!-- Resumen del modelo y motivación del proyecto (inc. los ODS relacionados). Esta sección es como el abstract. También se puede incluir aquí el logo del proyecto. -->
+Más de 600 millones de personas hablantes del idioma español necesitan recursos, como los LLMs, para la obtención de información médica de forma libre y segura, 
+cumpliendo con los objetivo del milenio: Salud y Bienestar, Educación y Calidad, Fin de la Pobreza propuestos por la ONU. 
+Existen pocos LLM para el  dominio médico en idioma español.
 
-<!-- Si queréis incluir una versión de la Dataset Card en español, enlazarla aquí al principio (e.g. `README_es.md`).-->
+El objetivo de este proyecto es crear un gran modelo de lenguaje (LLM; siglas en inglés) para el contexto médico en español permitiendo crear soluciones
+y servicios de información de salud en LATAM. El modelo contará con información de medicinas convencionales, naturales y tradicionales. 
+Un resultado del proyecto es un conjunto de datos público del dominio médico que agrupa recursos de otras fuentes que permite crear o ajustar LLM. 
+Los resultados del desempeño del LLM se comparan con  otros modelos del state-of-the-art como BioMistral, Meditron, MedPalm.
 
 ## Model Details
 
@@ -80,24 +57,22 @@ Para más información sobre cómo rellenar cada sección ver las docs: https://
 
 <!-- Resumen del modelo. -->
 
-- **Developed by:** [More Information Needed] <!-- Nombre de los miembros del equipo -->
+- **Developed by:** [Dionis López Ramos](https://www.linkedin.com/in/dionis-lopez-ramos/), [Alvaro Garcia Barragan](https://huggingface.co/Alvaro8gb), [Dylan Montoya](https://huggingface.co/dylanmontoya22), [Daniel Bermúdez](https://huggingface.co/Danielbrdz)   <!-- Nombre de los miembros del equipo -->
+ <!-- Nombre de los miembros del equipo -->
 - **Funded by:** SomosNLP, HuggingFace <!-- Si contasteis con apoyo de otra entidad (e.g. vuestra universidad), añadidla aquí -->
 - **Model type:** Language model, instruction tuned
-- **Language(s):** [More Information Needed] <!-- Enumerar las lenguas en las que se ha entrenado el modelo, especificando el país de origen. Utilizar códigos ISO. Por ejemplo: Spanish (`es-CL`, `es-ES`, `es-MX`), Catalan (`ca`), Quechua (`qu`).  -->
+- **Language(s):** Spanish (`es-ES`, `es-CL`)  <!-- Enumerar las lenguas en las que se ha entrenado el modelo, especificando el país de origen. Utilizar códigos ISO. Por ejemplo: Spanish (`es-CL`, `es-ES`, `es-MX`), Catalan (`ca`), Quechua (`qu`).  -->
 - **License:** apache-2.0 <!-- Elegid una licencia lo más permisiva posible teniendo en cuenta la licencia del model pre-entrenado y los datasets utilizados -->
-- **Fine-tuned from model:** [More Information Needed] <!-- Enlace al modelo pre-entrenado que habéis utilizado como base -->
-- **Dataset used:** [More Information Needed] <!-- Enlace al dataset utilizado para el ajuste -->
+- **Fine-tuned from model:** [BioMistral/BioMistral-7B](https://huggingface.co/BioMistral/BioMistral-7B) <!-- Enlace al modelo pre-entrenado que habéis utilizado como base -->
+- **Dataset used:** [somosnlp/SMC/](https://huggingface.co/datasets/somosnlp/SMC/) <!-- Enlace al dataset utilizado para el ajuste -->
 
 ### Model Sources
 
 - **Repository:** [More Information Needed] <!-- Enlace al `main` del repo donde tengáis los scripts, i.e.: o del mismo repo del modelo en HuggingFace o a GitHub. -->
 - **Paper:** [optional] [More Information Needed] <!-- Si vais a presentarlo a NAACL poned "WIP", "Comming soon!" o similar. Si no tenéis intención de presentarlo a ninguna conferencia ni escribir un preprint, eliminar. -->
 - **Demo:** [More Information Needed] <!-- Enlace a la demo -->
-- **Video presentation:** [optional] [More Information Needed] <!-- Enlace a vuestro vídeo de presentación en YouTube (están todos subidos aquí: https://www.youtube.com/playlist?list=PLTA-KAy8nxaASMwEUWkkTfMaDxWBxn-8J) -->
+- **Video presentation:** [SpanishMedicaLLM | Proyecto Hackathon #SomosNLP ](https://www.youtube.com/watch?v=tVe_MC7Da6k) <!-- Enlace a vuestro vídeo de presentación en YouTube (están todos subidos aquí: https://www.youtube.com/playlist?list=PLTA-KAy8nxaASMwEUWkkTfMaDxWBxn-8J) -->
 
-### Model Family [optional]
-
-<!-- Si habéis entrenado varios modelos similares podéis enumerarlos aquí. -->
 
 ## Uses
 
@@ -109,17 +84,12 @@ Para más información sobre cómo rellenar cada sección ver las docs: https://
 
 [More Information Needed]
 
-### Downstream Use [optional]
-
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-
-[More Information Needed]
-
 ### Out-of-Scope Use
 
 <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
 
-[More Information Needed]
+Los creadores del LLM no se hacen responsable de resultados nocivos que puedan generar. Se sugiere un proceso de evaluación riguroso con especialistas 
+de los resultados generados.
 
 ## Bias, Risks, and Limitations
 
@@ -149,7 +119,7 @@ Use the code below to get started with the model.
 
 <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
 
-[More Information Needed]
+Dataset used was [somosnlp/SMC/](https://huggingface.co/datasets/somosnlp/SMC/)
 
 ### Training Procedure
 
@@ -157,21 +127,24 @@ Use the code below to get started with the model.
 
 <!-- Detallar la técnica de entrenamiento utilizada y enlazar los scripts/notebooks. -->
 
-#### Preprocessing [optional]
-
-[More Information Needed]
 
 #### Training Hyperparameters
 
 <!-- Enumerar los valores de los hiperparámetros de entrenamiento. -->
 
-- **Training regime:** <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-
-#### Speeds, Sizes, Times [optional]
-
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-
-[More Information Needed]
+**Training regime:**
+- learning_rate: 2.5e-05
+- train_batch_size: 16
+- eval_batch_size: 1
+- seed: 42
+- gradient_accumulation_steps: 4
+- total_train_batch_size: 64
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_steps: 5
+- training_steps: 2
+- mixed_precision_training: Native AMP
+- <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
 
 ## Evaluation
 
@@ -183,7 +156,7 @@ Use the code below to get started with the model.
 
 <!-- This should link to a Dataset Card. -->
 
-[More Information Needed]
+Dataset used was a 20% from [somosnlp/SMC/](https://huggingface.co/datasets/somosnlp/SMC/)
 
 #### Factors
 
@@ -217,19 +190,16 @@ Use the code below to get started with the model.
 
 Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
 
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
+- **Hardware Type:** GPU
+- **Hours used:** 4 Hours
+- **Cloud Provider:** [Hugginface](https://huggingface.co)
 - **Compute Region:** [More Information Needed]
 - **Carbon Emitted:** [More Information Needed]
 
-## Technical Specifications [optional]
-
-<!-- Esta sección es opcional porque seguramente ya habéis mencionado estos detalles más arriba, igualmente está bien incluirlos aquí de nuevo como bullet points a modo de resumen. -->
 
 ### Model Architecture and Objective
 
-[More Information Needed]
+We used a LLM arquitecture to [BioMistral/BioMistral-7B](https://huggingface.co/BioMistral/BioMistral-7B) because if a foundational model trained in medical domain datasets.
 
 ### Compute Infrastructure
 
@@ -239,24 +209,40 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
 
 <!-- Indicar el hardware utilizado, podéis agradecer aquí a quien lo patrocinó. -->
 
-[More Information Needed]
+Nvidia T4 Small 4 vCPU 15 GB RAM 16 GB VRAM
 
 #### Software
 
 <!-- Enumerar las librerías utilizadas (e.g. transformers, distilabel). -->
 
+- transformers==4.38.0
+- torch>=2.1.1+cu113
+- trl @ git+https://github.com/huggingface/trl
+- peft
+- wandb
+- accelerate
+- datasets
+
 [More Information Needed]
 
 ## License
 
 <!-- Indicar bajo qué licencia se libera el modelo explicando, si no es apache 2.0, a qué se debe la licencia más restrictiva (i.e. herencia de las licencias del modelo pre-entrenado o de los datos utilizados). -->
 
+Apache License 2.0
 ## Citation
 
 **BibTeX:**
 
-[More Information Needed]
-
+```
+@software{lopez2024spanishmedicallm,
+  author = {Lopez Dionis, Garcia Alvaro, Montoya Dylan, Bermúdez Daniel},
+  title = {SpanishMedicaLLM},
+  month = February,
+  year = 2024,
+  url = {https://huggingface.co/datasets/HuggingFaceTB/cosmopedia}
+}
+```
 <!--
 
 Aquí tenéis un ejemplo de cita de un dataset que podéis adaptar:
@@ -279,9 +265,6 @@ Aquí tenéis un ejemplo de cita de un dataset que podéis adaptar:
 
 -->
 
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
 
 ## More Information
 
@@ -289,13 +272,18 @@ Aquí tenéis un ejemplo de cita de un dataset que podéis adaptar:
 
 This project was developed during the [Hackathon #Somos600M](https://somosnlp.org/hackathon) organized by SomosNLP. The model was trained using GPUs sponsored by HuggingFace.
 
-**Team:** [More Information Needed]
+**Team:**
 
 <!--
 - [Name 1](Link to Hugging Face profile)
 - [Name 2](Link to Hugging Face profile)
 -->
 
+ - [Dionis López Ramos](https://huggingface.co/inoid)
+ - [Alvaro Garcia Barragan](https://huggingface.co/Alvaro8gb)
+ - [Dylan Montoya](https://huggingface.co/dylanmontoya22)
+ - [Daniel Bermúdez](https://huggingface.co/Danielbrdz) 
 ## Contact [optional]
 
 <!-- Email de contacto para´posibles preguntas sobre el modelo. -->
+ For any doubt or suggestion contact to: PhD Dionis López ([email protected])