2018-12-14こしあんTweetPocket特徴量処理(特徴量エンジニアリング)でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOneHotEncoderでもできますが、Pandasのget_dummies()を使うと、もっと統合的にすることができます。それを見ていきましょう。目次One-HotエンコーディングとはSklearnのOneHotEncoderPandasのget_dummies()まとめOne-HotエンコーディングとはOne-Hot、つまり1つだけ1でそれ以外は0のベクトル(行列)を指します。経済学や統計学では「ダミー変数」と呼ばれることもあります。One-Hotエンコーディングもダミー変数もやっていることはほとんど同じで、カテゴリー変数を0,1の変数に変換して、学習器が学習しやすい形に変換しているということです。次のようなクラス変数があったとしましょう。0,1,2はクラス0に属する、クラス1に属する、...を表します。0])実はこのXのまま学習させるのはあまり賢くありません。クラスの数の間と潜在的な特徴量の間に線形な関係が保証できないからです。花の大きさを予測するものとしましょう。クラス0はものすごく花が大きいですが、クラス1は比較的花が小さく、クラス2は中くらいだとしましょう。このような0はとても大きい、1は小さい、2は中くらいというような関係を満たすようなモデルを最適化するというのはかなり難しいです(線形回帰ベースではなく、ランダムフォレストベースならある程度はいけるはずですが、それでもクラス数が多くなると厳しくなります)。学習器が理解させやすい形とは次のような変換をすることです。0.]])これなら、「大きい花のクラスかどうか」「小さい花のクラスかどうか」という推定をすることになるので、学習器はかなり簡単に最適化をすることができます。Kerasでto_categorical()の関数を使って無意識にやっているのはまさにこれです。自然言語処理ではOne-Hotベクトルを非常によく使います。Numpyこの書き方は0,1,2みたいな連続的な値ではなく、0,3,5みたいな飛び飛びの値になると面倒になるので、SklearnのOneHotEncoderやPandasのダミー変数生成関数(get_dummies)のほうが手っ取り早くなります。SklearnのOneHotEncoderを見て、その後にPandasのダミー変数生成を見てみましょう。SklearnのOneHotEncoderSklearnにはOneHotエンコーディング(ダミー変数)生成用にOneHotEncoderという便利な関数があります。これはなかなか便利な関数で、クラス変数の値が飛び飛びになっても全体から判断して勝手に詰めてくれます。0.]]このように、0,2,5という値ですが3列に詰めてくれました。普通の分類器と同じように、fit/transformでできるのが便利ですね。Xの値がランク2(reshape(-1,1))にしないといけないという縛りがあって、ベクトルのまま放り込むと怒られるので注意してください。sparse=Falseのオプションは、デフォルトで出力が疎行列になっているためで、わかりやすいように密行列で出力させています。これはOne-Hotベクトル(行列)は普通のNumpy行列のような密行列として定義するととてもメモリを食うためです。メモリ食うのが嫌だったらsparse=True、つまり疎行列のままで出力してもいいと思います。「疎行列か密行列か」というのはPandasでも出てきますので頭の片隅に入れておいてください。ちなみに、疎行列を任意のタイミングで密行列(普通のNumpy配列)に変換したかったら、.todense()を使いましょう。onehot_X_sparse.todense()print(onehot_X_dense)上が疎行列の出力で、下が密行列の出力です。0.]]データ構造的には、疎行列は0以外の値が入っている場所のインデックスと値を記録しているのでしょうね。One-Hotベクトルのようなスッカスカな配列にはメモリ効率が良いのだと思います。脱線してしまいましたが、こんな便利なOneHotEncoderですが実はちょっと欠点があります。それはNanやInfがあるとエラーを吐くということです。dtype(‘float32‘).Nanが入った配列に対してfit_transformをするとエラーになります。OneHotEncoderでは、fitさせた場合にない値を無視するオプションがありますが、それでもダメです。Nanがあると問答無用でエラーこのようにNanを除外してfitさせ、他の値を無視するオプションをつけてもエラーになります。これは現時点:Sklearn0.20.0の仕様なのでそのうち変わるかもしれません。GitHubを見ると、OneHotEncoderではNanを無視したほうがいいんじゃないかというようなissueも立っています。Nanの場合だけ見てきましたが、Infも同様にエラーになります。ここらへんのNanやInfといった異常値の除去を含めてやってくれるのが、Pandasのget_dummies()です。次にそれを見ていきましょう。Pandasのget_dummies()本題のpandas.get_dummies()を見てみましょう。SklearnのOneHotEncoderではInfやNanといった値で詰まるという欠点があるという話をしました。ここを含めていい感じにやってくれるのがPandasのget_dummies()です。"C"]))これだけです。One-Hotベクトルするカラムを指定できます。出力は次のようになります。1このように、小数だろうが文字列だろうがいい感じにやってくれます。カラムに指定しなかった「D」のカラムは、数値のままですね。Nanは除外されて全て0扱いになり、infはそのままカラムに登録されるようですね。infを除外してほしかったら、df.replace()でnanに置き換えておくといいでしょう。これは疎行列として出力することもできます。「sparse=True」のオプションを入れましょう。sparse=True)これの出力はぱっと見変わらないですが、疎行列化によって内部でメモリ圧縮が行われているので、MemoryError(Pandasは大きめのデータ扱うと簡単にメモリエラーが出ます)が出たら疎行列にして出力するといいでしょう。まとめSklearnのOneHotEncoderもいいけど、pandas.get_dummies()ってすごい便利だよ!ということでした。使いこなしてみてください。Commentコメントをキャンセルメールアドレスが公開されることはありません。