今回はSkyFoxのデータ変換の種類とパッケージ選択について説明します。合成特徴量の追加データ項目の相関による選択データ変換の種類とパッケージ選択についてカスタマイズ方法について細かくデータ変換の種類を選択パラメータの調整方法データ変換の種類についてモデル開発の前に、一つ一つのデータ項目を扱いやすいように、また特徴がでやすいように以下の加工を施します。全データの値が同じである場合や、郵便番号などデータの種類が多すぎる場合、モデル作成に悪影響を及ぼす場合がありますので、一般に、そのようなデータ項目は使用しません。数値データには作用しませんので、常に利用することを推奨します。数値データにおいて、データ内に欠損が含まれると計算ができないため、それを補完します。現在は、中央値が選択されます。数値データにおいて値の幅が広く、小さい方または大きい方にデータの偏りがあるような場合は、値を対数化することで、偏りをなくすことができます。年月日などの日付情報から曜日や祝日などのフラグを追加します。日付データ以外には作用しません。値の発生頻度の追加コード値などカテゴリで表されるデータにおいて、各値の出現頻度をデータ項目として追加します。数値データには作用しません。特徴が追加されるため、精度向上が期待できます。カテゴリ項目のダミー変数化コード値などカテゴリで表されるデータは、そのままでは多くの機械学習アルゴリズムで使用できません。そこで、ダミー変数化と呼ばれる処理で数値に変換します。数値データには作用しません。カテゴリ項目の有無によらず、常に利用することを推奨します。値の標準化データ項目による数値の大小に差が大きい場合、数値の大きいデータ項目の影響が強く出過ぎてしまうため、それを防ぐ目的で利用します。一般的に線形モデルでは必要な処理です。数値データにおいて、データ内に大きすぎる値など極端なデータ(外れ値)が含まれている場合に、全体の分布に合わせて数値を整えます。予測対象に対してデータ項目の影響が弱すぎる場合、モデル作成に使用しない方がモデルが安定します。逆に、影響度が強すぎる場合は”答え”の可能性があるため、やはり使用しない方が良いです。不正検知などに使用されるIsolationForestと呼ばれる手法を用いて、データの異常度をスコア化して、データ項目として追加します。特徴が追加されるため、精度向上が期待できます。主成分変換データを、主成分と呼ばれる統計的に意味のあるデータ項目に変換し、新しいデータ項目として追加します。主成分の上位を追加することで、特徴が表れやすくなるため、精度向上が期待されます。独立成分変換データを、統計的に独立なデータ項目に変換し、新しいデータ項目として追加します。元の数値より少ない数を指定することで、特徴が表れやすくなるため、精度向上が期待されます。クラスタ変換データを統計的に似ているグループ(クラスタ)に分割します。分類されたクラスタを元のデータ項目に加えることでモデルの性能向上が期待されます。遺伝的プログラミングと呼ばれる手法を用いて作成した合成特徴量を、新しいデータ項目として追加します。計算量が多いため処理に時間がはかかりますが、特徴が適切に表現されることも多く精度向上が期待されます。相関が高くほぼ同じと見なせるデータ項目が存在する場合、片方の値を取り除いた方がモデルが安定します。データ変換の種類とパッケージ選択について各データ変換は以下のように3つに分けた上で、3種類にパッケージ化することで利便性が向上しております。ユーザーは処理の内容がわからなくても目的に応じてパッケージを選択するだけです。ライトパッケージスタンダードパッケージアドバンストパッケージ1:最低限必要な処理。クイックに様子を見たい時などに選択します。〇2:通常のモデル開発にはしておいた方が良い処理。〇データ変換の種類と合わせて整理すると以下のようになります。〇カスタマイズ方法についてまた更に細かくデータ変換の種類を選択したりパラメータを調整することも可能です。このデータ変換だけはしたくないといった場合はスキップさせることが可能です。「詳細設定」の「設定の変更」をクリックします。次にスキップさせたい変換にマウスのカーソルを当て、右上のチェックを外します。するとこのようにグレーアウトします。戻したい場合はチェックを再度入れるだけです。パラメータの調整方法まずは調整したい変換をクリックします。すると以下の画面が開きます。ここで細かいパラメータを設定することが可能です。具体的なパラメータの説明は別の機会にさせて頂きます。任意の比率で学習データと評価データに分割する方法2019-06-27FAQ【2019/6/27更新版】もっと見るはてなブログをはじめよう!secondxightさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。