2019.12.06この記事は約7分で読めます。探索的データ解析)とは、データの特徴を捉えるための手法の総称です。統計モデリング過程において、EDAはモデリングの補助的に用いるものです。(3),289-310.EDAの目的には、以下のようなものがあります。目的変数の特徴を探る個々の特徴量の特徴を探る特徴量同士の関係を探る特徴量と目的変数の関係を探る上記の目的のためにEDAで行うことは、データの要約といえます。要約の方法は、「数値化による要約」と「可視化による要約」に分類できます。以下では単純なデータに対して、Rを使用したEDAの実例を紹介します。データは、RにあらかじめインストールされているBostonデータセットを使用します。数値化によって、データの特性値を探っていきます。要約統計量summary関数は、入力されるオブジェクトに応じて適切な要約を出力してくれます。3四分位点、最大値が表示されています。要約統計量を個別に出力する関数も用意されており、例えばvar(標本不偏分散)、sd(標準偏差)などがあります。2つの確率変数の間にある線形な関係の強弱を測る指標であり、−1以上1以下の実数に値をとります。相関係数が正のとき確率変数には正の相関が、負のとき確率変数には負の相関があるといいます。関数corは、変数間の相関係数を返してくれます。引数methodにて、以下の手法を設定することができます。methodに何も指定しない場合は、ピアソンの積率相関係数が適用されます。"pearson")cor(xy[10:14])可視化による要約データを可視化することによって、データの特性をつかむ方法を紹介します。ヒストグラムを見ることは、データ分析において基本的かつ重要な作業です。目的変数のヒストグラムを出力するためのコードは次のとおりです。hist(xy$y)ピーク値より右側は値が段々下がっているのに、50で少し増えているのが気になります。すると、50で値が打ち切られている可能性があります。ヒストグラムの分割数を増やして確認してみます。このデータは、50以上の値は打ち切られていることが確信できます。次に、各特徴量のヒストグラムを一覧表示する方法を紹介します。ヒストグラムを一覧表示するコードは次のとおりです。相関関係を図で出力をする方法を紹介します。lowess回帰を一括で描画してくれます。#psychのインストールlibrary(psych)pairs.panels(xy[10:14])lstatとyに負の相関があることが読み取れます。2.corrplotcorrplotを使うと相関係数の大きさを円と色で表わす相関図を作成できます。ここでは、ケンドールの順位相関係数を使用しています。0.5)図の中の数値は、列方向と行方向で重なり合う2変数の相関係数を表しています。相関係数の類似度の高い変数が近くに並ぶようにしてくれる点です。類似度は階層型クラスタリングという手法を用いて計算されています。目的変数と各特徴量の相関モデリングの目的からすれば、目的変数の説明力が強い特徴量をつかむことは大切な作業です。各特徴量と目的変数の散布図を一覧で出力するコードは次のとおりです。xname)}par(oldpar)説明力がありそうな特徴量については、散布図上にlowess曲線を引き、それを回帰曲線と見立てて描画することがモデリングの参考になる場合があります。実務上のデータの解析を行うために知っておくべき基本事項が丁寧に解説されている良本です。Nava(ナバ)関連記事R決定木の分類ルールセットを編集して予測する方法|Rこの記事では、決定木モデルの分類ルールセットを編集する方法をご紹介します。決定木でテストデータの予測を行う前に、訓練データから派生した分類ルールセットを編集したい場合に役立ちます。RRで繰り返し処理するなら、forではなくsapplyR言語で繰り返し処理を実装する場合は、for()ではなくsapply()を使いましょう!なぜなら、for()では複数行のコーディングが必要なケースでも、sapply()ならたった1行で代替できることがあるからです。データ分析ロジスティック回帰分析の基礎をわかりやすく解説データ分析業務でロジスティック回帰分析を実践している私が、ロジスティック回帰の基礎をわかりやすく解説します。初心者の方にもわかりやすいように、専門用語や数式をなるべく使わずに説明していきます。エンジニア認定データ分析試験(β版)を1000点満点で合格した私が、同試験の攻略法をご紹介します。エンジニア認定データ分析試験の概要、オススメの勉強法、出題された問題を紹介します。Meetupに初めて参加してみたら、現役スポーツアナリストの生々しいおもしろ話が聴けて最高でした。スポーツ業界に限らず、自身の業界にも通じる、データ分析における大切な視点が学べました。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。ホームEDAプロフィールこの記事を書いた人ナバIT企業にてデータ分析をやってます。統計学ブログ運営ホーム検索トップサイドバープロフィールこの記事を書いた人ナバIT企業にてデータ分析をやってます。エンジニア認定データ分析試験に合格する、おすすめの勉強法とは...?2019.09.212019.11.24タイトルとURLをコピーしました。