ハードウェアその他kaggleのメルカリのKernelを読むまず、Kernelを読むのがはじめてなので、なんとなく全体像を確認する。今回はmerkariのコンペティションの例。トレーニングやアウトプットKernelの種類Outputs、Languages、Types大きく3つの分類がある。それぞれ、以下のような種類がある。Filesがアウトプットのcsvが貼り付けられているものっぽいのですが、しっかり分類できていない感じがあった..なので、ビジュアル化しているKernelが見たい人は、Visualizationを選択すれば間違い無いかと。Julia単純に開発言語。SQLiteでもできるのか。notebook形式。Favariteが多いkernelまずkernelをfavariteすることができる。kernel一覧の画面で左の矢印を押すと、favariteとして登録できる。kernelはfavariteが多い順に並んでいる。そこで、favariteが多い順にkernelを読んでいく。現時点で一番人気があるkernelは以下のリンク。1番人気というべきかかなりのボリューム。大きく2つに分かれており、データの概要把握とデータの処理、トレーニングの項目がある。データの概要把握ここでは、普通にshapeをprintしたり、describeしたりしているだけ。データの概要を表示してくれている。具体的には以下のような内容。numerictrain.dtypestrain.head()train.price.describe()その他にもデータの表示はもちろんのこと、カテゴリーの加工方法も記載してある。データの内容物を正確に把握するために、表示系はやっておいた方がいい。BESBESのチュートリアルに従って実装している。Newsなどの60種類のニュースフィードからデータを集めて、フォーマットに落とし込み機械学習をして新たな発見をする。ポイントは以下のような内容。Project:自然言語のプロジェクト)は基本的にtokenizeするらしい。tokenizeとは、token化することで、文章などを語句レベルに分割することをいう。Tf-idfwikipediaがわかりやすい。こちらもsklearnでimportできる。(t-SNE)次元を減らすために利用する。次元が多いデータのvisualizeに効果的。vializationWordCloudを使えばこんなに綺麗に表示される。(LDA)でクラスタリングして表示している。コメントをキャンセルメールアドレスが公開されることはありません。