対してクリーニング等の処理をした後、100MB分切り出して作成されています。前処理済みで簡単に使えるので、チュートリアル等でよく利用されています。便利なのですが、英語にしか対応していないのが欠点でした。日本語版(もどき)を作ってみました。前処理済みなので、ダウンロードしたらすぐに使うことができます。作成したコーパスは以下のリポジトリからダウンロードできます。コーパスの作成方法を説明し、作成したコーパスを使って分散表現を学習します。次の3つの内容で構成されています。前処理して作られています。具体的には、以下のような前処理が行われています。引用、脚注、マークアップを除去ハイパーテキストはアンカーテキストだけ保持。実際の中身は、単語が空白で区切られて格納されています。以下のような感じです。日本語版text8コーパスの作成text8コーパスの作り方を参考に、日本語版を以下の手順で作成します。ダンプデータをダウンロードします。今回使用するのは、Wikipediaは2017年10月01日のダンプです。使って取得しましょう。データには不要なマークアップ等が含まれるので、それらをクリーニングしてしまいます。ダウンロードした後、以下のコマンドを実行して、テキストのクリーニングを行います。クリーニングしたテキストは、以下のように格納されています。「...と...」を意味する記号である。...</doc>一つの文書はタグで囲われていて、その中の一行目は文書のタイトルです。ここからさらに、タグ、タイトル、改行を取り除き、大文字を小文字に変換した後、一行に一文書になるように保存します。文書選択テキストのクリーニングが終わったら、コーパスに含める文書を選択します。文書の選択手法として、Wikipedia内のページランクを使う方法もありますが、今回は100MBに達するまでランダムに文書を選択します。選択した文書は形態素解析器を用いて分かち書きをした後、ファイルに保存します。形態素解析器で分かち書きコーパスに含める文書を選択したら、形態素解析器で分かち書きします。使い、分かち書きした結果を保存します。以上で、コーパスは完成です。総単語数と異なり語数を求めてみましょう。len(set(words))290811総単語数は16,900,026、異なり語数は290,811という結果になりました。使って単語の分散表現を学習させてみます。コーパスをダウンロードした後、以下のコードを実行して学習させましょう。学習は2分ほどで終わるはずです。size=200)学習が終わったら、実際に試してみます。0.4325913190841675)]うん、まぁまぁ良さそうですね!おわりに本記事では日本語版のtext8の作成とそれを用いた単語分散表現の学習を行いました。これにより、ちょっとしたデータで分散表現を学習するのがすぐにできるようになりました。本記事が皆様のお役に立てば幸いです。私のTwitterアカウントでも機械学習や自然言語処理に関する情報をつぶやいています。@Hironsanこの分野にご興味のある方のフォローをお待ちしています。2019より以下の論文を紹介。~Flairを使って最先端の固有表現認識を体験しよう~自然言語処理の分野で昔から研究され、実際に使われている技術...2019-05-07文の分散表現を計算するためのデータセットを作って公開する先日、SageMakerのObject2vecに新機能が追加された。(3)ARCHIVEはてなブログをはじめよう!Hironsanさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。