task_categories:token-classification annotations_creators:found language_creators:found multilinguality:monolingual size_categories:1M<n<10M source_datasets:wikiner language:fr license:unknown ner DFP french prompts region:us
---
language:
- fr
license:
- unknown
size_categories:
- 1M<n<10M
task_categories:
- token-classification
tags:
- ner
- DFP
- french prompts
annotations_creators:
- found
language_creators:
- found
multilinguality:
- monolingual
source_datasets:
- wikiner
---

# wikiner_fr_prompt_ner
## Summary

**wikiner_fr_prompt_ner** is a subset of the [**Dataset of French Prompts (DFP)**](https://huggingface.co/datasets/CATIE-AQ/DFP).  
It contains **2,534,322** rows that can be used for a name entity recognition task.  
The original data (without prompts) comes from the dataset [wikiner](https://huggingface.co/datasets/Jean-Baptiste/wikiner_fr) by Nothman et al. where only the French part has been kept.  
A list of prompts (see below) was then applied in order to build the input and target columns and thus obtain the same format as the [xP3](https://huggingface.co/datasets/bigscience/xP3) dataset by Muennighoff et al.


## Prompts used
### List
21 prompts were created for this dataset. The logic applied consists in proposing prompts in the indicative tense, in the form of tutoiement and in the form of vouvoiement.

```
'Extraire les entités nommées du texte suivant : '+text,
'Extrais les entitées nommées du texte suivant : '+text,
'Extrayez les entitées nommées du texte suivant : '+text,
'Isoler les entitées nommées du texte suivant : '+text,
'Isole les entitées nommées du texte suivant : '+text,
'Isolez les entitées nommées du texte suivant : '+text,
'Dégager des entitées nommées dans le texte : '+text,
'Dégage des entitées nommées dans le texte : '+text,
'Dégagez des entitées nommées dans le texte : '+text,
'Générer des entitées nommées issues du texte suivant : '+text,
'Génère des entitées nommées issues du texte suivant : '+text,
'Générez des entitées nommées issues du texte suivant : '+text,
'Trouver les entitées nommées du texte : '+text,
'Trouve les entitées nommées du texte : '+text,
'Trouvez les entitées nommées du texte : '+text,
'Repérer les entitées nommées présentes dans le texte suivant : '+text,
'Repère les entitées nommées présentes dans le texte suivant : '+text,
'Repérez les entitées nommées présentes dans le texte suivant : '+text,
'Indiquer les entitées nommées du texte :'+text,
'Indique les entitées nommées du texte : '+text,
'Indiquez les entitées nommées du texte : '+text
```

### Features used in the prompts
In the prompt list above, `text` and `targets` have been constructed from:
```
wikiner_fr = load_dataset('Jean-Baptiste/wikiner_fr')  
wikiner_fr['train']['tokens'] = list(map(lambda i: ' '.join(wikiner_fr['train']['tokens'][i]), range(len(wikiner_fr['train']['tokens']))))
wikiner_fr['train']['ner_tags'] = list(map(lambda x: x.replace("[","").replace("]","").replace('0','O').replace('1','LOC').replace('2','PER').replace('3','O').replace('4','ORG'), map(str, wikiner_fr['train']['ner_tags'])))
```



# Splits
- `train` with 2,534,322 samples
- no `valid` split
- no `test` split



# How to use?
```
from datasets import load_dataset
dataset = load_dataset("CATIE-AQ/wikiner_fr_prompt_ner")
```

# Citation
## Original data
> @article{NOTHMAN2013151,  
title = {Learning multilingual named entity recognition from Wikipedia},  
journal = {Artificial Intelligence},  
volume = {194},  
pages = {151-175},  
year = {2013},  
note = {Artificial Intelligence, Wikipedia and Semi-Structured Resources},  
issn = {0004-3702},  
doi = {https://doi.org/10.1016/j.artint.2012.03.006},  
url = {https://www.sciencedirect.com/science/article/pii/S0004370212000276},  
author = {Joel Nothman and Nicky Ringland and Will Radford and Tara Murphy and James R. Curran},
}



## This Dataset
> @misc {centre_aquitain_des_technologies_de_l'information_et_electroniques_2023,  
	author       = { {Centre Aquitain des Technologies de l'Information et Electroniques} },  
	title        = { DFP (Revision 1d24c09) },  
	year         = 2023,  
	url          = { https://huggingface.co/datasets/CATIE-AQ/DFP },  
	doi          = { 10.57967/hf/1200 },  
	publisher    = { Hugging Face }  
}



## License
Unknow