
# Model Card of `lmqg/mt5-small-dequad-qa`
This model is fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) for question answering task on the [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).


### Overview
- **Language model:** [google/mt5-small](https://huggingface.co/google/mt5-small)   
- **Language:** de  
- **Training data:** [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (default)
- **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
- **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
- **Paper:** [https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)

### Usage
- With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
```python
from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-qa")

# model prediction
answers = model.answer_q(list_question="Welche Auszeichnung hat die Wartburg 1999 erhalten?", list_context=" Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

```

- With `transformers`
```python
from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-qa")
output = pipe("question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

```

## Evaluation


- ***Metric (Question Answering)***: [raw metric file](https://huggingface.co/lmqg/mt5-small-dequad-qa/raw/main/eval/metric.first.answer.paragraph_question.answer.lmqg_qg_dequad.default.json) 

|                  |   Score | Type    | Dataset                                                          |
|:-----------------|--------:|:--------|:-----------------------------------------------------------------|
| AnswerExactMatch |    0.45 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| AnswerF1Score    |    9.15 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| BERTScore        |   76.67 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_1           |    5.35 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_2           |    2.79 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_3           |    1.7  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_4           |    1.1  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| METEOR           |    7.61 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| MoverScore       |   52.97 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| ROUGE_L          |    5.42 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |



## Training hyperparameters

The following hyperparameters were used during fine-tuning:
 - dataset_path: lmqg/qg_dequad
 - dataset_name: default
 - input_types: ['paragraph_question']
 - output_types: ['answer']
 - prefix_types: None
 - model: google/mt5-small
 - max_length: 512
 - max_length_output: 32
 - epoch: 17
 - batch: 16
 - lr: 0.0005
 - fp16: False
 - random_seed: 1
 - gradient_accumulation_steps: 4
 - label_smoothing: 0.15

The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mt5-small-dequad-qa/raw/main/trainer_config.json).

## Citation
```
@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}

```

{"language": "de", "license": "cc-by-4.0", "tags": ["question answering"], "datasets": ["lmqg/qg_dequad"], "metrics": ["bleu4", "meteor", "rouge-l", "bertscore", "moverscore"], "pipeline_tag": "text2text-generation", "widget": [{"text": "question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Th\u00fcringen == Kultur == Die Kulturlandschaft Th\u00fcringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielf\u00e4ltig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die \u00e4hnliche K\u00fcche sowie \u00e4hnlichen Feste und Br\u00e4uche. Pr\u00e4gend f\u00fcr die Kultur sind nach wie vor die zahlreichen St\u00e4tten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein St\u00fcck weit zur\u00fcckfallen. Zum UNESCO-Welterbe in Th\u00fcringen geh\u00f6ren seit 1996 die Bauhaus-St\u00e4tten in Weimar mit dem zwischen 1904 und 1911 nach Pl\u00e4nen von Henry van de Velde errichteten Hauptgeb\u00e4ude der Bauhaus-Universit\u00e4t, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf St\u00e4tten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-St\u00e4tten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und R\u00f6mischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europ\u00e4ischen Buchenurw\u00e4lder.", "example_title": "Question Answering Example 1"}, {"text": "question: Wann endete die Aberdeen Regierung? , context: Krimkrieg === Gro\u00dfbritannien === Der Krimkrieg zeigte, dass es erhebliche Missst\u00e4nde im britischen Milit\u00e4r gab. Dadurch verlor die Regierung Aberdeen erheblich an Ansehen. Im Februar 1855 wurde sie zum R\u00fccktritt gezwungen, und Palmerston \u00fcbernahm die Bildung eines neuen Kabinetts. Der sp\u00e4tere britische Premierminister Disraeli erkl\u00e4rte den Krieg aus einer von S\u00fcdasien eingenommenen Perspektive zu einem \u201eindischen Krieg\u201c, da es zuvor (irreale) Bef\u00fcrchtungen gegeben hatte, dass Russland durch eine Expansion nach S\u00fcden das britische Indien in Gefahr bringen k\u00f6nnte. Das Verh\u00e4ltnis zwischen Gro\u00dfbritannien und Russland blieb bis ins 20. Jahrhundert aus ideologischen und weltmachtpolitischen Gr\u00fcnden angespannt. Der Krieg f\u00fchrte in Gro\u00dfbritannien zur Bildung eines modernen Nationalmythos des die Ehre der Nation verteidigenden \u201egemeinen\u201c Soldaten, anstelle des Aristokraten fr\u00fcherer Kriege. In der Mittelklasse kam es zu einem neuen Gef\u00fchl des Selbstbewusstseins im Zusammenhang von Ideen wie professioneller F\u00e4higkeit und dem Leistungsprinzip. Die Mittelklasse erkannte sich in einer Florence Nightingale wieder, die zur Nationalheldin aufstieg. Die K\u00f6nigin stiftete 1857 das Victoria-Kreuz, mit dem erstmals Nichtoffiziere ausgezeichnet werden konnten.", "example_title": "Question Answering Example 2"}], "model-index": [{"name": "lmqg/mt5-small-dequad-qa", "results": [{"task": {"type": "text2text-generation", "name": "Text2text Generation"}, "dataset": {"name": "lmqg/qg_dequad", "type": "default", "args": "default"}, "metrics": [{"type": "bleu4_question_answering", "value": 1.1, "name": "BLEU4 (Question Answering)"}, {"type": "rouge_l_question_answering", "value": 5.42, "name": "ROUGE-L (Question Answering)"}, {"type": "meteor_question_answering", "value": 7.61, "name": "METEOR (Question Answering)"}, {"type": "bertscore_question_answering", "value": 76.67, "name": "BERTScore (Question Answering)"}, {"type": "moverscore_question_answering", "value": 52.97, "name": "MoverScore (Question Answering)"}, {"type": "answer_f1_score__question_answering", "value": 9.15, "name": "AnswerF1Score (Question Answering)"}, {"type": "answer_exact_match_question_answering", "value": 0.45, "name": "AnswerExactMatch (Question Answering)"}]}]}]}
transformers pytorch mt5 text2text-generation question answering de dataset:lmqg/qg_dequad arxiv:2210.03992 license:cc-by-4.0 model-index autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #mt5 #text2text-generation #question answering #de #dataset-lmqg/qg_dequad #arxiv-2210.03992 #license-cc-by-4.0 #model-index #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 

Model Card of 'lmqg/mt5-small-dequad-qa'
========================================


This model is fine-tuned version of google/mt5-small for question answering task on the lmqg/qg\_dequad (dataset\_name: default) via 'lmqg'.


### Overview


* Language model: google/mt5-small
* Language: de
* Training data: lmqg/qg\_dequad (default)
* Online Demo: URL
* Repository: URL
* Paper: URL


### Usage


* With 'lmqg'
* With 'transformers'


Evaluation
----------


* *Metric (Question Answering)*: raw metric file



Training hyperparameters
------------------------


The following hyperparameters were used during fine-tuning:


* dataset\_path: lmqg/qg\_dequad
* dataset\_name: default
* input\_types: ['paragraph\_question']
* output\_types: ['answer']
* prefix\_types: None
* model: google/mt5-small
* max\_length: 512
* max\_length\_output: 32
* epoch: 17
* batch: 16
* lr: 0.0005
* fp16: False
* random\_seed: 1
* gradient\_accumulation\_steps: 4
* label\_smoothing: 0.15


The full configuration can be found at fine-tuning config file.



### Overview


* Language model: google/mt5-small
* Language: de
* Training data: lmqg/qg\_dequad (default)
* Online Demo: URL
* Repository: URL
* Paper: URL ### Usage


* With 'lmqg'
* With 'transformers'


Evaluation
----------


* *Metric (Question Answering)*: raw metric file



Training hyperparameters
------------------------


The following hyperparameters were used during fine-tuning:


* dataset\_path: lmqg/qg\_dequad
* dataset\_name: default
* input\_types: ['paragraph\_question']
* output\_types: ['answer']
* prefix\_types: None
* model: google/mt5-small
* max\_length: 512
* max\_length\_output: 32
* epoch: 17
* batch: 16
* lr: 0.0005
* fp16: False
* random\_seed: 1
* gradient\_accumulation\_steps: 4
* label\_smoothing: 0.15


The full configuration can be found at fine-tuning config file.
TAGS
#transformers #pytorch #mt5 #text2text-generation #question answering #de #dataset-lmqg/qg_dequad #arxiv-2210.03992 #license-cc-by-4.0 #model-index #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 ### Overview


* Language model: google/mt5-small
* Language: de
* Training data: lmqg/qg\_dequad (default)
* Online Demo: URL
* Repository: URL
* Paper: URL ### Usage


* With 'lmqg'
* With 'transformers'


Evaluation
----------


* *Metric (Question Answering)*: raw metric file



Training hyperparameters
------------------------


The following hyperparameters were used during fine-tuning:


* dataset\_path: lmqg/qg\_dequad
* dataset\_name: default
* input\_types: ['paragraph\_question']
* output\_types: ['answer']
* prefix\_types: None
* model: google/mt5-small
* max\_length: 512
* max\_length\_output: 32
* epoch: 17
* batch: 16
* lr: 0.0005
* fp16: False
* random\_seed: 1
* gradient\_accumulation\_steps: 4
* label\_smoothing: 0.15


The full configuration can be found at fine-tuning config file.
TAGS
#transformers #pytorch #mt5 #text2text-generation #question answering #de #dataset-lmqg/qg_dequad #arxiv-2210.03992 #license-cc-by-4.0 #model-index #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
### Overview


* Language model: google/mt5-small
* Language: de
* Training data: lmqg/qg\_dequad (default)
* Online Demo: URL
* Repository: URL
* Paper: URL### Usage


* With 'lmqg'
* With 'transformers'


Evaluation
----------


* *Metric (Question Answering)*: raw metric file



Training hyperparameters
------------------------


The following hyperparameters were used during fine-tuning:


* dataset\_path: lmqg/qg\_dequad
* dataset\_name: default
* input\_types: ['paragraph\_question']
* output\_types: ['answer']
* prefix\_types: None
* model: google/mt5-small
* max\_length: 512
* max\_length\_output: 32
* epoch: 17
* batch: 16
* lr: 0.0005
* fp16: False
* random\_seed: 1
* gradient\_accumulation\_steps: 4
* label\_smoothing: 0.15


The full configuration can be found at fine-tuning config file.