task_categories:token-classification annotations_creators:found language_creators:found multilinguality:monolingual size_categories:100K<n<1M source_datasets:wikiann language:fr license:unknown ner DFP french prompts region:us
---
language:
- fr
license:
- unknown
size_categories:
- 100K<n<1M
task_categories:
- token-classification
tags:
- ner
- DFP
- french prompts
annotations_creators:
- found
language_creators:
- found
multilinguality:
- monolingual
source_datasets:
- wikiann
---

# wikiann_fr_prompt_ner
## Summary

**wikiann_fr_prompt_ner** is a subset of the [**Dataset of French Prompts (DFP)**](https://huggingface.co/datasets/CATIE-AQ/DFP).  
It contains **840,000** rows that can be used for a name entity recognition task.  
The original data (without prompts) comes from the dataset [wikiann](https://huggingface.co/datasets/tner/wikiann) by Pan et al. where only the French part has been kept.  
A list of prompts (see below) was then applied in order to build the input and target columns and thus obtain the same format as the [xP3](https://huggingface.co/datasets/bigscience/xP3) dataset by Muennighoff et al.


## Prompts used
### List
21 prompts were created for this dataset. The logic applied consists in proposing prompts in the indicative tense, in the form of tutoiement and in the form of vouvoiement.

```
'Extraire les entités nommées du texte suivant : '+text,
'Extrais les entités nommées du texte suivant : '+text,
'Extrayez les entités nommées du texte suivant : '+text,
'Isoler les entités nommées du texte suivant : '+text,
'Isole les entités nommées du texte suivant : '+text,
'Isolez les entités nommées du texte suivant : '+text,
'Dégager des entités nommées dans le texte : '+text,
'Dégage des entités nommées dans le texte : '+text,
'Dégagez des entités nommées dans le texte : '+text,
'Générer des entités nommées issues du texte suivant : '+text,
'Génère des entités nommées issues du texte suivant : '+text,
'Générez des entités nommées issues du texte suivant : '+text,
'Trouver les entités nommées du texte : '+text,
'Trouve les entités nommées du texte : '+text,
'Trouvez les entités nommées du texte : '+text,
'Repérer les entités nommées présentes dans le texte suivant : '+text,
'Repère les entités nommées présentes dans le texte suivant : '+text,
'Repérez les entités nommées présentes dans le texte suivant : '+text,
'Indiquer les entités nommées du texte :'+text,
'Indique les entités nommées du texte : '+text,
'Indiquez les entités nommées du texte : '+text
```

### Features used in the prompts
In the prompt list above, `text` and `targets` have been constructed from:
```
wikiann = load_dataset('tner/wikiann','fr') 
wikiann['train']['tokens'] = list(map(lambda i: ' '.join(wikiann['train']['tokens'][i]), range(len(wikiann['train']['tokens']))))
wikiann['train']['tags'] = list(map(lambda x: x.replace("[","").replace("]","").replace('0','B-LOC').replace('1','B-ORG').replace('2','B-PER').replace('3','I-LOC').replace('4','I-ORG').replace('5','I-PER').replace('6','O'), map(str, wikiann['train']['tags'])))
```


# Splits
- `train` with 420,000 samples
- `valid` with 210,000 samples
- `test` with 210,000 samples



# How to use?
```
from datasets import load_dataset
dataset = load_dataset("CATIE-AQ/wikiann_fr_prompt_ner")
```

# Citation
## Original data
> @inproceedings{pan-etal-2017-cross,
    title = "Cross-lingual Name Tagging and Linking for 282 Languages",
    author = "Pan, Xiaoman  and Zhang, Boliang  and May, Jonathan  and Nothman, Joel  and Knight, Kevin  and Ji, Heng",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1178",
    doi = "10.18653/v1/P17-1178",
    pages = "1946--1958"
}



## This Dataset
> @misc {centre_aquitain_des_technologies_de_l'information_et_electroniques_2023,  
	author       = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
	title        = { DFP (Revision 1d24c09) },  
	year         = 2023,  
	url          = { https://huggingface.co/datasets/CATIE-AQ/DFP },  
	doi          = { 10.57967/hf/1200 },  
	publisher    = { Hugging Face }  
}



## License
Unknow