しているエンジニアの日記スマートフォン用の表示で見るのんびりしているエンジニアの日記ソフトウェアなどのエンジニア的な何かを書きます。Links皆さんこんにちはお元気ですか。分析は基本的にPythonを使って行います。(大体Pandasですが・・・)Pandasを利用すると色々できます。するんだっけ処理が増えていきました。自分のメモがてらカテゴリを分けて記録に残したいと思います。最後のほうは特徴量の作り方集になっています。Kaggleで実際に使ったことがある処理も数多く掲載しました。思いついたら随時、追加しようと思います。読み込み書き込みテーブル操作1行ごとに処理をする。複数条件の指定NaNを埋める。カラム、テーブルの統計情報を取得する。完全一致の列を発見し、除去する。日付から日などの情報を取得する。カテゴリカルな変数ダミー変数に変換し、結果を結合する。ラベル変数にし、結果を取得する。Numpyへの変換を行う。pd」を利用しています。ファイルの操作、結合などを行うファイルを準備します。ファイルの内容は次の通りです。IndexがTrueの場合はIndexも出力される。大体は不要テーブル操作1行ごとに処理をする。row)複数列を取得する。NaN複数条件の指定&で結合すれば、複数の条件を選択できる。30.0NaNを埋める。NaNになる値を埋めたいケースがあります。14.0カラム、テーブルの統計情報を取得する。30.000000完全一致の列を発見し、除去する。重複している列を発見します。重複しているカラムは必要がないことから重複を調べ除去したいことがあります。この除去には、pandasのdrop_duplicateを使います。日付から日などの情報を取得する。特徴量を生成する際に日付から曜日などの特徴を取得したいケースがあります。その日付から新しい特徴量を作成できます。2つ以上のテーブルを結合する。RDBのjoinと同じ操作です。華道2つの結合処理Onを利用した結合をしない処理はpd.concatで可能です。Byを利用して集計します。2つ以上のカラムを利用して集計する場合に使います。2つのカラムを組み合わせて統計を取り、特徴量にする場合2つのカラムを組み合わせて統計を取り、それを特徴量にしたい場合があります。mergeを使います。14.0変数の変換を行う。カテゴリカルな変数ダミー変数に変換し、結果を結合する。0.0ラベル変数にし、結果を取得する。14.0Numpyへの変換を行う。私は以下の2つのどちらかで変換を行います。大体np.arrayで実行しています。df1.as_matrix()np.array(df1)最後にpandas長く使っていたので纏めてみると結構多くてびっくりです。特徴量作成にまだまだ使えるので、ぜひ使ってみてください。お元気ですか?私は元気です。4jの解説の後編を進めていきたいと思います。