
# ニコニコ実況 過去ログアーカイブ

ニコニコ実況 過去ログアーカイブは、[ニコニコ実況](https://jk.nicovideo.jp)のサービス開始から現在までのすべての過去ログコメントを収集したデータセットです。

去る2020年12月、ニコニコ実況は[ニコニコ生放送内の一公式チャンネルとしてリニューアル](https://blog.nicovideo.jp/niconews/143148.html)されました。  
これに伴い、2009年11月から運用されてきた旧システムは提供終了となり（事実上のサービス終了）、torne や BRAVIA などの家電への対応が軒並み終了する中、当時の生の声が詰まった約11年分の過去ログも同時に失われることとなってしまいました。

そこで 5ch の DTV 板の住民が中心となり、旧ニコニコ実況が終了するまでに11年分の全チャンネルの過去ログをアーカイブする計画が立ち上がりました。紆余曲折あり Nekopanda 氏が約11年分のラジオや BS も含めた全チャンネルの過去ログを完璧に取得してくださったおかげで、11年分の過去ログが電子の海に消えていく事態は回避できました。  
しかし、旧 API が廃止されてしまったため過去ログを API 経由で取得することができなくなり、またアーカイブされた過去ログから見たい範囲のログを探す場合も、アーカイブのサイズが合計約 150GB もあることから、とても以前のように手軽に過去ログに触れることはできなくなってしまいました。

一方、ニコニコ生放送内の一公式チャンネルとして移行した新ニコニコ実況では、タイムシフト（旧ニコニコ実況での過去ログに相当）の視聴期限は3週間までとなっているため、その期限を過ぎると過去ログは視聴できなくなってしまいます。  
また一般会員は事前にタイムシフト予約をしておく必要があるなど、以前のような利便性は失われています。

私たちは、ニコニコ実況に投稿された日本のテレビ放送についてのコメントは、当時の世相や時代背景を端的に表す、歴史的価値のある資料だと考えています。  
このデータセットでは、ニコニコ実況のすべての過去ログを後世に残すべく、Nekopanda 氏が配布されていた旧ニコニコ実況の 2020/12/15 までのすべての過去ログに加え、コミュニティベースの番組も含めた新ニコニコ実況の当日分の過去ログを5分に1回収集し、随時反映しています。

過去ログをかんたんに取得するための [API](https://jikkyo.tsukumijima.net/) もあります。  
よろしければそちらもご活用ください。

## Dataset Structure

### Builder Config

| Key             | Value Type | Default Value | Description |
| --------------- | ---------- | ------------- | ----------- |
| channel_id      | string     | None          | 過去ログを取得するニコニコ実況チャンネルの ID (省略時はすべてのチャンネル) |
| year            | int        | None          | 取得する過去ログの年 (省略時はすべての年) |
| number_of_files | int        | None          | 取得する過去ログファイルの数 (省略時はすべてのファイル) |

### Data Splits

| Split   | Approximate Size | Description |
| ------- | ---------------- | ----------- |
| sample  | 1GB              | サンプルとして、2022年中に投稿された TOKYO MX (ID: jk9) のすべての過去ログコメントを取得します。1GB ほどあります。 |
| all     | 180GB            | 全チャンネル/全期間のすべての過去ログコメントを取得します。180GB 近くあるため注意してください。 |

### Data Fields

| Field           | Type     | Description |
| --------------- | -------- | ----------- |
| thread          | string   | コメントのスレッド ID |
| no              | int64    | コメント番号 (コメ番) |
| vpos            | int64    | スレッド ID から起算したコメントの再生位置 (1/100秒) |
| date            | int64    | コメント投稿時間の UNIX タイムスタンプ |
| date_usec       | int64    | コメント投稿時間の小数点以下の時間 |
| user_id         | string   | ユーザー ID (コマンドに 184 が指定されている場合は匿名化され、1週間ほどでシャッフルされる) |
| mail            | string   | コメントのコマンド (184, red naka big など、省略されることもある) |
| premium         | boolean  | コメントしたユーザーがプレミアム会員であれば True |
| anonymity       | boolean  | 匿名コメントであれば True |
| content         | string   | コメント本文 (AA など、まれに複数行コメントがあるので注意) |

## Example

```python
from datasets import load_dataset

dataset = load_dataset('KakologArchives/KakologArchives', 'all', channel_id='jk211', year=2023, number_of_files=10)
for data in dataset['train']:
    print(data)
```

## Licensing Information

[MIT License](https://opensource.org/license/mit/)

task_categories:text-classification language:ja license:mit region:us
{"language": ["ja"], "license": "mit", "task_categories": ["text-classification"], "pretty_name": "\u30cb\u30b3\u30cb\u30b3\u5b9f\u6cc1 \u904e\u53bb\u30ed\u30b0\u30a2\u30fc\u30ab\u30a4\u30d6"}
TAGS
#task_categories-text-classification #language-Japanese #license-mit #region-us 

ニコニコ実況 過去ログアーカイブ
================


ニコニコ実況 過去ログアーカイブは、ニコニコ実況のサービス開始から現在までのすべての過去ログコメントを収集したデータセットです。


去る2020年12月、ニコニコ実況はニコニコ生放送内の一公式チャンネルとしてリニューアルされました。  

これに伴い、2009年11月から運用されてきた旧システムは提供終了となり（事実上のサービス終了）、torne や BRAVIA などの家電への対応が軒並み終了する中、当時の生の声が詰まった約11年分の過去ログも同時に失われることとなってしまいました。


そこで 5ch の DTV 板の住民が中心となり、旧ニコニコ実況が終了するまでに11年分の全チャンネルの過去ログをアーカイブする計画が立ち上がりました。紆余曲折あり Nekopanda 氏が約11年分のラジオや BS も含めた全チャンネルの過去ログを完璧に取得してくださったおかげで、11年分の過去ログが電子の海に消えていく事態は回避できました。  

しかし、旧 API が廃止されてしまったため過去ログを API 経由で取得することができなくなり、またアーカイブされた過去ログから見たい範囲のログを探す場合も、アーカイブのサイズが合計約 150GB もあることから、とても以前のように手軽に過去ログに触れることはできなくなってしまいました。


一方、ニコニコ生放送内の一公式チャンネルとして移行した新ニコニコ実況では、タイムシフト（旧ニコニコ実況での過去ログに相当）の視聴期限は3週間までとなっているため、その期限を過ぎると過去ログは視聴できなくなってしまいます。  

また一般会員は事前にタイムシフト予約をしておく必要があるなど、以前のような利便性は失われています。


私たちは、ニコニコ実況に投稿された日本のテレビ放送についてのコメントは、当時の世相や時代背景を端的に表す、歴史的価値のある資料だと考えています。  

このデータセットでは、ニコニコ実況のすべての過去ログを後世に残すべく、Nekopanda 氏が配布されていた旧ニコニコ実況の 2020/12/15 までのすべての過去ログに加え、コミュニティベースの番組も含めた新ニコニコ実況の当日分の過去ログを5分に1回収集し、随時反映しています。


過去ログをかんたんに取得するための API もあります。  

よろしければそちらもご活用ください。


Dataset Structure
-----------------


### Builder Config



### Data Splits


Split: sample, Approximate Size: 1GB, Description: サンプルとして、2022年中に投稿された TOKYO MX (ID: jk9) のすべての過去ログコメントを取得します。1GB ほどあります。
Split: all, Approximate Size: 180GB, Description: 全チャンネル/全期間のすべての過去ログコメントを取得します。180GB 近くあるため注意してください。


### Data Fields


Field: thread, Type: string, Description: コメントのスレッド ID
Field: no, Type: int64, Description: コメント番号 (コメ番)
Field: vpos, Type: int64, Description: スレッド ID から起算したコメントの再生位置 (1/100秒)
Field: date, Type: int64, Description: コメント投稿時間の UNIX タイムスタンプ
Field: date\_usec, Type: int64, Description: コメント投稿時間の小数点以下の時間
Field: user\_id, Type: string, Description: ユーザー ID (コマンドに 184 が指定されている場合は匿名化され、1週間ほどでシャッフルされる)
Field: mail, Type: string, Description: コメントのコマンド (184, red naka big など、省略されることもある)
Field: premium, Type: boolean, Description: コメントしたユーザーがプレミアム会員であれば True
Field: anonymity, Type: boolean, Description: 匿名コメントであれば True
Field: content, Type: string, Description: コメント本文 (AA など、まれに複数行コメントがあるので注意)


Example
-------


Licensing Information
---------------------


MIT License



### Builder Config ### Data Splits


Split: sample, Approximate Size: 1GB, Description: サンプルとして、2022年中に投稿された TOKYO MX (ID: jk9) のすべての過去ログコメントを取得します。1GB ほどあります。
Split: all, Approximate Size: 180GB, Description: 全チャンネル/全期間のすべての過去ログコメントを取得します。180GB 近くあるため注意してください。 ### Data Fields


Field: thread, Type: string, Description: コメントのスレッド ID
Field: no, Type: int64, Description: コメント番号 (コメ番)
Field: vpos, Type: int64, Description: スレッド ID から起算したコメントの再生位置 (1/100秒)
Field: date, Type: int64, Description: コメント投稿時間の UNIX タイムスタンプ
Field: date\_usec, Type: int64, Description: コメント投稿時間の小数点以下の時間
Field: user\_id, Type: string, Description: ユーザー ID (コマンドに 184 が指定されている場合は匿名化され、1週間ほどでシャッフルされる)
Field: mail, Type: string, Description: コメントのコマンド (184, red naka big など、省略されることもある)
Field: premium, Type: boolean, Description: コメントしたユーザーがプレミアム会員であれば True
Field: anonymity, Type: boolean, Description: 匿名コメントであれば True
Field: content, Type: string, Description: コメント本文 (AA など、まれに複数行コメントがあるので注意)


Example
-------


Licensing Information
---------------------


MIT License
TAGS
#task_categories-text-classification #language-Japanese #license-mit #region-us 
 ### Builder Config ### Data Splits


Split: sample, Approximate Size: 1GB, Description: サンプルとして、2022年中に投稿された TOKYO MX (ID: jk9) のすべての過去ログコメントを取得します。1GB ほどあります。
Split: all, Approximate Size: 180GB, Description: 全チャンネル/全期間のすべての過去ログコメントを取得します。180GB 近くあるため注意してください。 ### Data Fields


Field: thread, Type: string, Description: コメントのスレッド ID
Field: no, Type: int64, Description: コメント番号 (コメ番)
Field: vpos, Type: int64, Description: スレッド ID から起算したコメントの再生位置 (1/100秒)
Field: date, Type: int64, Description: コメント投稿時間の UNIX タイムスタンプ
Field: date\_usec, Type: int64, Description: コメント投稿時間の小数点以下の時間
Field: user\_id, Type: string, Description: ユーザー ID (コマンドに 184 が指定されている場合は匿名化され、1週間ほどでシャッフルされる)
Field: mail, Type: string, Description: コメントのコマンド (184, red naka big など、省略されることもある)
Field: premium, Type: boolean, Description: コメントしたユーザーがプレミアム会員であれば True
Field: anonymity, Type: boolean, Description: 匿名コメントであれば True
Field: content, Type: string, Description: コメント本文 (AA など、まれに複数行コメントがあるので注意)


Example
-------


Licensing Information
---------------------


MIT License
passage: TAGS
#task_categories-text-classification #language-Japanese #license-mit #region-us 
### Builder Config### Data Splits


Split: sample, Approximate Size: 1GB, Description: サンプルとして、2022年中に投稿された TOKYO MX (ID: jk9) のすべての過去ログコメントを取得します。1GB ほどあります。
Split: all, Approximate Size: 180GB, Description: 全チャンネル/全期間のすべての過去ログコメントを取得します。180GB 近くあるため注意してください。### Data Fields


Field: thread, Type: string, Description: コメントのスレッド ID
Field: no, Type: int64, Description: コメント番号 (コメ番)
Field: vpos, Type: int64, Description: スレッド ID から起算したコメントの再生位置 (1/100秒)
Field: date, Type: int64, Description: コメント投稿時間の UNIX タイムスタンプ
Field: date\_usec, Type: int64, Description: コメント投稿時間の小数点以下の時間
Field: user\_id, Type: string, Description: ユーザー ID (コマンドに 184 が指定されている場合は匿名化され、1週間ほどでシャッフルされる)
Field: mail, Type: string, Description: コメントのコマンド (184, red naka big など、省略されることもある)
Field: premium, Type: boolean, Description: コメントしたユーザーがプレミアム会員であれば True
Field: anonymity, Type: boolean, Description: 匿名コメントであれば True
Field: content, Type: string, Description: コメント本文 (AA など、まれに複数行コメントがあるので注意)


Example
-------


Licensing Information
---------------------


MIT License