募集中いろいろな大学などでの研究をわかりやすく紹介したり、研究生活のこと・データ解析のことなど書いたり。いろいろな解析手法があるとき、とりあえず全部やってみよういろいろな解析手法があるとき、とりあえず全部やってみよう2016年12月21日http://univprof.com/archives/16-11-18-8441806.htmlいろいろな解析手法があるとき、とりあえず全部やってみようこんにちは!大学教員ブロガーのねこしです。データ分析・解析に関して、いろいろな質問をいただきます。回帰分析とかクラス分類とかするときに、与えられたデータセットに対して適した手法をどのように選べばよいですか?というものです。回帰分析においてPLSがよいのか、LASSOがよいのか、SVRがよいのか、・・・、クラス分類においてLDAがよいのか、決定木がよいのか、SVMがよいのか、・・・ということです。データセットごとに適した手法はあると思います。望ましいのは、データが与えられたら、適した手法のみ使うことかもしれません。どんなにデータ分析・解析の熟練者でも、与えられたデータセットに適した手法を毎回100%の確率で選ぶのは不可能です。全部やってみましょう!回帰分析だったらPLSもLASSOもSVRも、クラス分類だったらLDAも決定木もSVMも、知っている手法を全部やってみるんです。面倒?そんなことはありません。プログラミングをすれば、手法の数だけ時間がかかるだけで人の手間はほとんど変わりませんん。面倒なことはパソコンに任せるわけです。このあたりについてはこちらもご参照ください。http://univprof.com/archives/16-11-18-8441710.html具体的な方法論はこちら。https://note.mu/univprof/n/n4175165e4205ただ、このように数多くの計算をすると、すべての計算が終わった後に、結果を評価することがとても重要となります。するかが大切なわけです。これはデータ分析・解析の目的によって変わります。モデル検証用データセットの推定性能とか、ダブルクロスバリデーションの結果などを利用するとよいです。他にも、解釈可能なモデルが”よい”ということであれば、他にも判断指標があります。このように、すべて計算してから、それらの結果を評価して、適した結果を選ぶわけです。することで、データセットが変わっても、同じ方法論・同じプログラムで、データ分析・解析することができます。たくさんの回帰分析を一気に行うプログラム公開中!上のように全部の回帰分析を一気に実行するプログラムはこちらにあります。noteでもSPIKEでもAnyPayでも言語が同じであれば同じものです。https://note.mu/univprof/n/n7d9eb3ce2c74Python言語(AnyPay):https://anypay.jp/shops/GpeTLMrcxv/FY7MK1JlXgたくさんのニクラス分類を一気に行い、ダブルクロスバリデーションで評価するプログラム公開中!こちらは二クラス分類です。全部を一気に行いダブルクロスバリデーションでモデルの評価を実行するプログラムです。noteでもSPIKEでもAnyPayでも言語が同じであれば同じものです。https://anypay.jp/shops/GpeTLMrcxv/hQMWaxelvdたくさんの多クラス分類を一気に行い、ダブルクロスバリデーションで評価するプログラム公開中!こちらは多クラス分類です。全部を一気に行いダブルクロスバリデーションでモデルの評価を実行するプログラムです。noteでもSPIKEでもAnyPayでも言語が同じであれば同じものです。募集中!こちらへお願いします!ご案内。まとめオススメ記事セレクション。人工知能との未来における人の役割~現役のデータサイエンティストのメッセージ~集中する時間を確保するために大学教授が行っている8つのことtwitterでも発信中。univprofblog1無料メルマガでブログにない情報を配信中。データ解析・分析に興味がありましたらぜひ登録をお願いします!無料メルマガの登録はこちら事前に適した手法を選ぶという余計な心配をしなくてよくなります。データマイニングブログを勉強しながら役立つ情報を発信しています!フォローしていただけると嬉しいです。