データ分析web以外の一般的なデータ分析の話。webと異なり構造化されたデータが対象。byyanaiRを使ったデータ前処理の方法を解説する。データフレーム形式だけでなく、大きなデータを扱うのに高速なdata.tableを使ったデータの前処理の方法も解説する。一般的にデータの前処理の手順は以下のようなものである。データの整形(分析用データセットの生成。byyanai独立した記事にはならないが、それぞれ便利かつ重要な小さなRのTipsを紹介。RとPythonの間でのデータをやり取りするとき、CSVファイルではなく変数の型などを内包したデータフレームで直接やりとりできると便利。これを実現するのがFeatherというライブラリ。evaluationの略。関数に対して値を与えるのではなく、表現式(expression)を与えて処理させる方法。言葉にするとわかりにくいので、具体例で。いう引数の与え方をしたい。これがRのもっとも自然なコーディングである。チューニング変数となる。この順に手順を見ていく。行数、列数の多いビッグデータ向きのデータ形式であるMatrixパッケージに対応した距離行列についても説明する。類似度行列ではなく距離行列を作る。similarityではなくdistanceを作る。byyanai一般化線形モデル(GLM)は統計解析のフレームワークとしてとにかく便利。どの手法をどのライブラリの関数で実装すればいいかわからなくなる。そこでRに実装されている代表的なGLM系の関数と特徴についてまとめてみた。tree)分析をする際、まず目的変数の種類とアルゴリズムを決定する。ここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。Googleアナリティクス360(旧Googleアナリティクスプレミアム)が出力するログデータを扱う場合に直面する問題を中心に解説する。Googleアナリティクス360のログデータはBigQueryの特徴的なところを嫌というほど満載している。いうことで、これを扱えれば大概の問題には対応できるようになるだろう。