デースマートフォン用の表示で見るデーこの広告は、90日以上更新していないブログに表示しています。Channgleに参加して、結果は1233チーム中148位だった。反省会です!!ちなみに参加していなかった人には何を言っているか全く分からないと思いますのでご了承ください。LB1位だった人が500位台まで飛んだり、上位を狙うのは極めて難しい内容だった。LBで上位に入るように考えていたんだけど、いろいろ予想が外れてしまい失敗してしまった。1位は0.46892(この間に150人くらい)オレは0.50290Abhishekのコードは0.50558現実は厳しい!!だいたい以下のようなことを考えていた。LBで爆死するので、爆死しないように気をつけておけばそれほど頑張らなくても上位に入れるだろうと考えていたんだけど、この予想が外れ、Abhishekのコードがなんと0.50というスコアを持っていたため、そこから少しでも改善できた人達150人くらいに抜かれてしまった。反省点としては、他の人が勝手に爆死することを期待したり、Kaggleの天才データサイエンティスト達を舐めてたりといったふざけた態度でのぞまず、自分のスコアを上げる方向で頑張るべきだった。自分のソリューションちなみに自分の方法は以下のような感じだった。(spatial特徴を使うか使わないか、depthを使うか使わないかの組み合わせも含めて)1は、ホストが推薦していたことで、やったほうが結果もよかったのでやった。derivativeを使っていて、これを使うと直流成分は消えるので、消したほうが安心だろうと思って適用することにした。component選択)を試してみて、z-socreは一番結果が悪かったので無しで、ZCAとPCAはほんのちょっとだけZCAのほうがよかった。networkの学習時間がかなり短くなので、実験回数が増やせて、この微かな差は挽回できるのではないか、と考えて160次元に圧縮することにした。結果からするとこれは失敗だった。LBではZCAバージョンのほうが微かによくて(0.4991)、こっちを選んでいれば95位くらいだった。(そんな変わらない)4.はspectra特徴だけで学習するか、spatialやdepthも含めるかという話だけど、これは目的変数ごとに検証した結果以下のようにした。networkを選んだ。lossを使うことにした。これは、学習データの目的変数に明らかに大きすぎる外れ値っぽいデータが少しだけ入っていて、MSEを最小化するとその影響がすごく出てしまうので、ロバストにしたほうがいいだろうということで選んだ。lossのほうが良い結果が出ていた。lossを使ってみることを思いついた。Landscapeという単位を壊さないように分けるようにする。これが重要な理由は、データページに書いてある。levelsで分けられていると明確に書いてある。Plotと書かれている。Landscapes内でオーバーフィッティングしていたほうがいいスコアを出すデータセットができてしまう。Landscape内のデータが学習とテストに分かれないように注意してfoldを分ける必要がある。Landscapeに属するかを表すIDは振られていないので(データの説明に書くならふれよ!!と思った)、TMAPという項目をキーとして使う。Landscapeの単位でまとめれるという議論がフォーラムであって、その話をしている人達はかなり信頼できる人達だったので、オレもこれを使うようにした。LandscapeベースのCVをしていたってことはないようだけど、ただ少なくともlocationベース(同じ位置から取られたSubsoil/Topsoilのデータが学習/テストで別れないようにする)でやらないと、オーバーフィッティングしてたほうが高いスコアが出てしまうので、順位落とした人の多くは間違った条件のCVでハイパーパラメータを調節した結果、元になったAbhishekのコードよりも悪い結果になってしまったのでは、と思います。LBが信頼できないだろうと思った理由。LBはいっそう難しくなる)CVと負の相関すらあるように見える!!信頼できそうな人達がみんな信頼できないと言っていた(重要)追記なんとかツリー系、入力が信号で説明変数間に強い相関があるのと、次元に対して学習データが少なすぎるのとで、変数選択がうまくいかなくて、決定木をベースとしたものは良い結果が出せなかったのでは、と思っているけど詳しくないので分かりません。100位以内の多くは、SVRとGBMの結果を混ぜたものみたいです。)はてなブログをはじめよう!ultraistさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。