atmaブログスマートフォン用の表示で見るatmaブログatma株式会社の公式ブログです。数多のKaggler犇めく中で31チーム中8位になりました。Tablesを実際のデータコンペに投入してみた結果と感想です。Tablesって聞いたことあるけど実際どうなの?という方向けです。自己紹介atma株式会社でサーバーサイド及びフロントエンドエンジニアをしている田中です。機械学習はほぼ未経験です。最近はFirebase+Vue.jsを使用したアプリケーションをよく作っています。atma株式会社が主催するオンサイトデータコンペティションです。実際に参加者が会場に集まりチームでデータ解析を実施し、得た学びを共有します。MasterやGrandMasterも参戦し、関西では過去最大のオンサイトコンペとなりました。コンペの内容については細かくは言えないのですが、時系列データの予測を行いました。Tablesとは、Google社が提供している教師付きの学習サービスです。構造化データを使用して、機械学習モデルが新しいデータについて予測を行うようトレーニングします。2019年8月現時点ではベータ版です。詳しく知りたい方は初心者ガイド(https://cloud.google.com/automl-tables/docs/beginners-guide?hl=ja)がわかりやすいと思います。Tablesでトレーニングしました。結果として毎回かなりCV値がブレていました。実際に結果を見ていただくのがわかりやすいかと思います。Tablesは「MSLE」が選べないので「RMSLE」を評価指標としています。*1この結果より、かなりブレていることがわかります。Tables上のCVとコンペサイト上のLBの値が乖離していました。明らかに数値が異なります、CV上の値がそのまま出れば余裕で1位でした。(笑)過学習が発生していると考えられます。かかった金額は、トレーニングデータの行数が1万件だったので、トレーニング時間は最小の1ノード時間で終わり、1回約2,000円でした。(大体10万行までは1~3ノード時間で終わります。)5回実行したので約1万円です。裏で動いているマシン数などから考えると安いのですが、かなり結果にブレがあると結構ショックを受けます。ソシャゲの10連ガチャを回してる気分になります。Tablesはすごいただ、運ゲーといえども、やっぱり92台のマシンが並列で処理するのは強いです。(いわゆる札束で殴るスタイル)さすがにKagglerでも1時間では敵わないので、超短期決戦では勝てると思います。解析の目安、リークのチェックに向いてるのではないかと思います。TablesよりKagglerはすごいAutoMLはチューニングのし所がほぼ無く、これ以上のスコアを出すにはガチャを回すかのようにトレーニングを回すしかありません。今回の結果を見るに、1日あればKagglerに追い抜かれてしまい、その後どんどんKagglerはスコアを上げて行けます。Kagglerはすごい。Tablesは現状ではKagglerを倒すことは難しかったです。現状はまだベータ版で今後も性能が向上していくことが予想されます。Tablesを試していき、その成長を見守っていきます。Tablesで参加する予定です。以下、connpassの「メンバーになる」をクリックすることでイベント開催時にメールが届きます。Tablesを倒してみたい!というKagglerの皆様の参加をお待ちしています!!*1:「RMSLE」は「MSLE」にRootついてるだけなので評価は同じになります。#atmaCup月別アーカイブはてなブログをはじめよう!atma_incさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。