データの標準化は機械学習の前処理としてとても重要です。疎行列型データ構造は、スパースなデータを表現するためにはとても適しています。残念ながら、普通に疎行列型を標準化しようとすると、疎行列性が失せます。n-gramは自然言語処理でよく使われる方法です。以下のような関数を作りたいとします。n=3ならtrigramという言い方があります。scikit-learnのv0.22で、混同行列をプロットするための便利関数であるsklearn.metrics.plot_confusion_matrixが追加されました。使いやすそうなので試してみます。リファレンスはこちらです。ローデータ(生データ)を取り込むと、年月日が独立して入っている感じの嫌なデータになっていることがあります。関数の中で関数の外の変数を操作するようなコードを書いていると、たまに下記のようなエラーが出ます。k近傍法には、近傍点の重み付けをどうするかで複数のやり方が考えられます。普通のk近傍点では予測対象の点のkつの近傍点を取ってきて、そのクラスを単純に多数決します。既存の関数のwrapperを作るときなど、可変長キーワード引数を使いたいときがあります。これは通常のキーワード引数と併用できますが、稀に問題になることがあります。定義するときは割と単純で、問題も少ないです。信頼区間付きの棒グラフはよく見かけます。複数グループの差が優位かどうかという議論に向いているからです。対話モードだとアンダースコアの変数が自動的にできています。最後に評価した結果が入るようです。これはチュートリアルに書いてあったのですが、他の入門記事で触れられているのを見た記憶はまったくありません。信頼区間というとなんとなく棒グラフにつけるものという印象がありますが、折れ線グラフでも計算すること自体はたやすくて、しかもけっこうかっこいいグラフになります。表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。変数選択は必要ない」という主張です。Tips注意:IterativeImputerは本記事の執筆時点(2019年11月)で実験的な実装とされており、最新の仕様等はこの記事の内容と異なる可能性があります。常にstable版の公式のドキュメントを確認してください。欠損値補完(nanの処理)はだいたいpandasでやる人が多いですが、最近のscikit-learnはこの辺りの前処理に対するサポートも充実してきているので、平均値で補完する程度であればかえってscikit-learnでやった方が楽かもしれません。mecab-pythonで形態素解析を行って何らかの処理をするとき、特定の品詞だけ取り出したいということがよくあります。いう目的で書かれたコードとして、よくこんなものを見たりすると思います。matplotlibのboxplotを使うと簡単に箱ひげ図が描けます。デフォルト設定では外れ値が黒い円で表示されます。どんなデータでも、サンプル数が多いと一定数の外れ値は出てしまいます。このブログについてスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。