自称ASIC設計者です。どなたかkaggle一緒に出ましょう。Competitionを中心にkaggleで使ったよ、という報告が増えてきました。coachhttps://www.kaggle.com/scirpus/regularized-greedy-forest/codeRGF単体でXGBやLightGBMを越えない場合でも、アンサンブルのお供には有力な選択肢です。imageの配布、内部的な変更も大きい物がいくつか入っていますが、なんといっても最近ではFastRGFの導入が大きいでしょう。今日はFastRGFについて書きます。Zhang氏が作成した高速版のRGFです。Forest・ロス関数の近似法をシンプルにした・マルチスレッドなどの方法をつかって高速化しています。rgf_pythonでも多クラス問題では、ラッパーで頑張ってマルチスレッドにしているのですが、One-VS-Restの学習機を同時に回しているだけであり、クラス数より大きなスレッドで動かすことはできません。回帰問題はシングルスレッドでしか動きません。FastRGFはそれ自体がOpenMPをつかってマルチスレッドで書かれており、2クラス問題だろうが回帰問題だろうがコア数を使い切ることができます(学習器の規模にもよると思いますが。近似をシンプルしたことによりFastRGFはRGF並の予測精度が出ない可能性があります。小さいデータセットでは、FastRGFによる高速化の効果は出ない、というかむしろ遅くなるので、boston_datasetをhstackして比較してみます。40625次元のサンプルで回帰問題について比較しました。GitHubに置きました。0.883大体倍くらい速くなりました。私の環境は4コアなので、よりコア数が多い環境では差が顕著になるでしょう。本家FastRGFの状況についてFastRGFのgithubリポジトリを見るに、あまり更新されておらず、activeであるとは言いがたい状況です。作者が多忙なためだそう。私が試す限りでも闇っぽい挙動があり、FastRGF起因のトラブルはラッパー部のrgf_pythonでは対応できない可能性があります。微妙な状況ではありますが、RGFの速度を速くしてくれ!という要望は少なからずあり、sklearnライクのAPIを提供することにより、FastRGFの使用者が増えてその中からメンテしてくれる勇者もいるのかなという希望的観測もあり、リリースすることに決めました。rgf_pythonすれば、FastRGFも含めてインストールされます。(rgf_python>=2.3.0にて)自分でビルドする場合g++のバージョンは5.0以上である必要があります。cmakeとWindowsではmingw32-makeのインストールが必要になります。StudioによるFastRGFのビルドは現在サポートされておりません(本家がサポートしていないため)。例によって、データサイエンティスト達の手によって何回分類されたかわからないiris使います。scikit-learnユーザーには特に難しいことはないでしょう。パラメータについてRGFには丁寧に書かれたユーザーガイドがあったのですが、FastRGFでは、本家githubのここにパラメータチューニングに関する記述があるのみです。新しく出来た木のゲイン。ゲインが小さいと、予測に及ぼす影響が小さい。学習時に各枝で使う最小サンプル数。floatの場合、全体のサンプル数に対する割合。”epsillon-greedy”のときのみ有効。決定木の各枝が一度に何種類の特徴量を使うか?入力データがスパースのときのみ有効。データがスパースのときのみ有効。・サンプル数(100未満)が極端に少ない場合、クラッシュします。RGFではなく、FastRGFをご使用ください。・極端に小さい値をsample_weightに設定した場合、クラッシュする可能性があります。いうわけで、FastRGFぜひご利用くださいませ。designerを使ってchainerのコードを生成してみる皆さんこんばんは。»プロフィールid:segafrederverilog書いたり、でもPythonが好きだったり、そんな人の日記。月別アーカイブはてなブログをはじめよう!segafrederさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。