
# Датасет для задачи раскрытия неполных реплик в контексте диалога

Подробное описание задачи "Incomplete Utterance Restoration" можно найти в карточке генеративной модели [inkoziev/rugpt_interpreter](https://huggingface.co/inkoziev/rugpt_interpreter), которая обучена на аугментированном варианте этого датасета.

В датасете содержатся фрагменты диалогов длиной от 1 до 3 последовательных реплик. Для последней реплики дается ее полный вариант с раскрытыми анафорами, эллипсисами и т.д.

Например, следующий сэмпл:

```
    {
        "context": ["Добрый день, давай поговорим?"],
        "short_phrase": "добрый день, давай",
        "expanded_phrase": "Давай поговорим"
    }
```

Соответствует фрагменту диалога:

```
- Добрый день, давай поговорим?
- добрый день, давай
```

Для последней реплики "_добрый день, давай_" приводится ее полный вариант "_Давай поговорим_".

Для фрагментов длиной 3 реплики в поле ```context``` будет 2 элемента:

```
    {
        "context": [
            "Что-то зрителей полный инет, а изучителей не видать.",
            "Ты кем себя считаешь: зрителем или изучателем?"
        ],
        "short_phrase": "изучателем",
        "expanded_phrase": "я считаю себя изучателем"
    },
```

Этот сэмпл соответствует фрагменту диалога:

```
- Что-то зрителей полный инет, а изучителей не видать.
- Ты кем себя считаешь: зрителем или изучателем?
- изучателем
```

Для последней реплики дана полная форма "_я считаю себя изучателем_".

## Особенности датасета

1) Для многих сэмплов вежливая форма 2л. мн.ч. "Вы" в раскрытом варианте нормализована до "ты".

2) Есть нецензурная лексика, оскорбления и т.п.

## Ссылки, цитирование

Этот датасет я собирал сам для экспериментов с [диалоговыми системами](https://github.com/Koziev/chatbot). Если вы используете его в каком-то виде, буду благодарен за ссылки на эту страницу.

task_categories:conversational task_categories:question-answering task_ids:dialogue-generation task_ids:open-domain-qa multilinguality:monolingual source_datasets:original language:ru license:cc-by-nc-4.0 region:us
{"language_creators": "expert", "language": "ru", "license": "cc-by-nc-4.0", "multilinguality": "monolingual", "source_datasets": "original", "task_categories": ["conversational", "question-answering"], "task_ids": ["dialogue-generation", "open-domain-qa"]}
TAGS
#task_categories-conversational #task_categories-question-answering #task_ids-dialogue-generation #task_ids-open-domain-qa #multilinguality-monolingual #source_datasets-original #language-Russian #license-cc-by-nc-4.0 #region-us 


# Датасет для задачи раскрытия неполных реплик в контексте диалога

Подробное описание задачи "Incomplete Utterance Restoration" можно найти в карточке генеративной модели inkoziev/rugpt_interpreter, которая обучена на аугментированном варианте этого датасета.

В датасете содержатся фрагменты диалогов длиной от 1 до 3 последовательных реплик. Для последней реплики дается ее полный вариант с раскрытыми анафорами, эллипсисами и т.д.

Например, следующий сэмпл:



Соответствует фрагменту диалога:



Для последней реплики "_добрый день, давай_" приводится ее полный вариант "_Давай поговорим_".

Для фрагментов длиной 3 реплики в поле  будет 2 элемента:



Этот сэмпл соответствует фрагменту диалога:



Для последней реплики дана полная форма "_я считаю себя изучателем_".

## Особенности датасета

1) Для многих сэмплов вежливая форма 2л. мн.ч. "Вы" в раскрытом варианте нормализована до "ты".

2) Есть нецензурная лексика, оскорбления и т.п.

## Ссылки, цитирование

Этот датасет я собирал сам для экспериментов с диалоговыми системами. Если вы используете его в каком-то виде, буду благодарен за ссылки на эту страницу.

# Датасет для задачи раскрытия неполных реплик в контексте диалога

Подробное описание задачи "Incomplete Utterance Restoration" можно найти в карточке генеративной модели inkoziev/rugpt_interpreter, которая обучена на аугментированном варианте этого датасета.

В датасете содержатся фрагменты диалогов длиной от 1 до 3 последовательных реплик. Для последней реплики дается ее полный вариант с раскрытыми анафорами, эллипсисами и т.д.

Например, следующий сэмпл:



Соответствует фрагменту диалога:



Для последней реплики "_добрый день, давай_" приводится ее полный вариант "_Давай поговорим_".

Для фрагментов длиной 3 реплики в поле  будет 2 элемента:



Этот сэмпл соответствует фрагменту диалога:



Для последней реплики дана полная форма "_я считаю себя изучателем_". ## Особенности датасета

1) Для многих сэмплов вежливая форма 2л. мн.ч. "Вы" в раскрытом варианте нормализована до "ты".

2) Есть нецензурная лексика, оскорбления и т.п. ## Ссылки, цитирование

Этот датасет я собирал сам для экспериментов с диалоговыми системами. Если вы используете его в каком-то виде, буду благодарен за ссылки на эту страницу.
TAGS
#task_categories-conversational #task_categories-question-answering #task_ids-dialogue-generation #task_ids-open-domain-qa #multilinguality-monolingual #source_datasets-original #language-Russian #license-cc-by-nc-4.0 #region-us 
 # Датасет для задачи раскрытия неполных реплик в контексте диалога

Подробное описание задачи "Incomplete Utterance Restoration" можно найти в карточке генеративной модели inkoziev/rugpt_interpreter, которая обучена на аугментированном варианте этого датасета.

В датасете содержатся фрагменты диалогов длиной от 1 до 3 последовательных реплик. Для последней реплики дается ее полный вариант с раскрытыми анафорами, эллипсисами и т.д.

Например, следующий сэмпл:



Соответствует фрагменту диалога:



Для последней реплики "_добрый день, давай_" приводится ее полный вариант "_Давай поговорим_".

Для фрагментов длиной 3 реплики в поле  будет 2 элемента:



Этот сэмпл соответствует фрагменту диалога:



Для последней реплики дана полная форма "_я считаю себя изучателем_". ## Особенности датасета

1) Для многих сэмплов вежливая форма 2л. мн.ч. "Вы" в раскрытом варианте нормализована до "ты".

2) Есть нецензурная лексика, оскорбления и т.п. ## Ссылки, цитирование

Этот датасет я собирал сам для экспериментов с диалоговыми системами. Если вы используете его в каком-то виде, буду благодарен за ссылки на эту страницу.
passage: TAGS
#task_categories-conversational #task_categories-question-answering #task_ids-dialogue-generation #task_ids-open-domain-qa #multilinguality-monolingual #source_datasets-original #language-Russian #license-cc-by-nc-4.0 #region-us 
# Датасет для задачи раскрытия неполных реплик в контексте диалога

Подробное описание задачи "Incomplete Utterance Restoration" можно найти в карточке генеративной модели inkoziev/rugpt_interpreter, которая обучена на аугментированном варианте этого датасета.

В датасете содержатся фрагменты диалогов длиной от 1 до 3 последовательных реплик. Для последней реплики дается ее полный вариант с раскрытыми анафорами, эллипсисами и т.д.

Например, следующий сэмпл:



Соответствует фрагменту диалога:



Для последней реплики "_добрый день, давай_" приводится ее полный вариант "_Давай поговорим_".

Для фрагментов длиной 3 реплики в поле  будет 2 элемента:



Этот сэмпл соответствует фрагменту диалога:



Для последней реплики дана полная форма "_я считаю себя изучателем_".## Особенности датасета

1) Для многих сэмплов вежливая форма 2л. мн.ч. "Вы" в раскрытом варианте нормализована до "ты".

2) Есть нецензурная лексика, оскорбления и т.п.## Ссылки, цитирование

Этот датасет я собирал сам для экспериментов с диалоговыми системами. Если вы используете его в каком-то виде, буду благодарен за ссылки на эту страницу.