BlogEnsekiTTが書くブログです。scikit-learnつまりなにしたの?Blogでサンプルを使いつつ、処理方法を紹介する時に便利なscikit-learnのdatasetsにはどんなのが入っているのかまとめておこうと思ってまとめ始めた。今回はNewsgroupのテキストデータ。*1やりたいことdatasetsの種類リスト各説明変数の内容を簡単に示すそれぞれ読み出してみる目的変数のサンプルなどを示す今回は中でもNewsgroupのテキストデータについて紹介する。datasetsリアルデータセットと呼ばれる実際に研究のベンチマークに使われてる(てた)データセットを紹介していく。DataFrameの説明変数と目的変数を作成することを目的とする。datasetは、学習用とテスト用の2つのサブセットに分割された20のトピックに関する約18000のニュースグループの投稿で構成されている。学習用とテスト用の間の分割は、特定の日付を境にされていて、混ざっているわけではない。単語の出現回数に直したベクトルのデータを取得することもできる。テキストデータを読み出す方法。ベクトル化されたデータを読み出す方法。pd.DataFrame(data.data)df.head()序盤だけしか表示されていないけど、投稿者情報とかが見えている。datasets.fetch_20newsgroups_vectorized()data.data単語ごとの出現回数のベクトルなのでスパースなマトリクスができていた。columns=['target'])df_tgt.head()カテゴリに数字が与えられている。ヶ月)EnsekiTTが書くブログです。機械学習とかロボットの仕事してます。ライセンスの下に提供されています。スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。