機能は機械学習に必要となる複数の工程を一つのパイプラインで表現できる。大規模なデータセットを扱うのが苦手だ。超えると現実的な処理時間で捌けなくなってくる。実は独自の拡張を加えることもできる。データ分析や機械学習の分野でも使われるようになってきた。上でインタラクティブに作業することも増えたように感じる。して保存することで読み込み速度を上げる、というテクニックを紹介した。交差検証しようとしてハマった話について。平凡なミスなんだけど、またやるとこわいので自分用にメモしておく。使った環境は次の通り。使ってみる記事を書いた。データセットにはカテゴリ変数が含まれていなかった。Xデータ処理の世界では、データの持ち方に縦持ちと横持ちという考え方がある。縦持ちでは、レコードに種類といったカラムを持たせてデータを追加していく。それに対し横持ちでは種類ごとにカラムを用意した上でデータを追加する形を取る。なって驚いた、という話。形式で提供される場合がある。形式に変換することが多い。変換する処理は意外と時間がかかる。これまであんまり使ってこなかったけど、関数が渡せることを知って色々と便利に使えそうだなと感じた。使ってダミー変数を生成する方法について書く。ダミー変数というのは、例えば国籍や性別といった名義尺度の説明変数を数値に変換する手法のこと。オブジェクトから不要なカラムを取り除く方法について書く。使った環境は次の通り。オブジェクト内に欠損値を含むカラムがあるか調べる方法について。使った環境は次の通り。Python例えばデータセットの中のカラムが文字列型なんかで入っていると、それを数値に直したくなることはよくあると思う。やる方法について書く。メソッドを使うと上手くいく。特定の値がいくつ数える方法について。いう専用のメソッドがあるよ、という話。使った環境は次の通り。未処理の例外が上がったときの処理をオーバーライドする注目記事スポンサードリンクスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。