2020/2/5世界的な機械学習プラットフォーム「Kaggle」の概要と衛星データコンペ事例まとめ世界的な機械学習のコンペが行われる「Kaggle」では20回以上もの衛星データをテーマとしたコンペが実施済みのよう。Kaggleの簡単な紹介と、衛星データを取り扱ったコンペをまとめてみました。「加速する「オープン化」と「実用化」の波、衛星データ×機械学習でできること」では、衛星データと機械学習の相性について衛星データのプロと機械学習のプロに語り合っていただきましたが、その内容に違うことなく、世界的な機械学習のコンペが行われる「Kaggle」内でも20回以上もの衛星データをテーマとしたコンペが実施済みのようです。本記事では、Kaggleの簡単な紹介と、衛星データを取り扱ったコンペのテーマをご紹介します。(1)世界的な機械学習コンペを実施する「Kaggle」とはKaggleとは、企業や政府、研究機関から与えられるデータ分析の課題(タスク)に対して、世界中のデータ分析者や統計の専門家が、個人やチームで課題解決手法の精度等を競う「クラウドソーシング型のデータ分析プラットフォーム」です。Kaggleは2010年頃から開始されましたが、2017年にはGoogleによって買収されています。課題を出す企業側は、自身の事業に関係する課題のベンチマークを社内の人的リソースを使わずに行うことが出来ることや、既に課題に取り組んでいる場合は課題解決のための新たな外部の知見を得ることが出来ます。参加者は検出精度等の優秀なスコアを残した場合等には賞金が与えられるほか、そのスコアに応じた称号(ランク)を得ることができます。宙畑ではKaggleの上位ランカーに面白かったコンペと論文を聞いた「Kaggle上位ランカーの5人に聞いた、面白かったコンペ12選と論文7選」も公開していますのでぜひご覧ください。Kaggleで社外の様々な課題に向き合い解決してきた能力が、社内でも活用することが出来るメリットや、「データ分析に強みを持つ組織である」というブランディングのため、Kaggleを採用に役立てる動きも出てきています。Kaggle社内ランク制度」が話題になりました。このように注目が集まり続ける「Kaggle」について、まずは次章でサイトの巡り方を簡単にご紹介します。(2)Kaggleサイトの巡り方トップページの上側にいくつかタブがありますので、それぞれ内容をみていきましょう。Kaggleと本記事を並べながらご覧ください。◆Competitionsコンペに関する情報確認するページです。現在開催中のコンペを確認出来ますし、過去に開催されたコンペも確認することが出来ます。コンペには幾つかカテゴリ分けがあります。===Featured:一番主要なカテゴリで、賞金のあるコンペResearch:実験的要素の強いコンペ。Startedの一つ上のレベルという位置づけで、「楽しむ」ことに主眼を置いたコンペ。Participation:マスターとグランドマスター以外参加出来ないコンペ===◆DatasetsKaggleユーザー間でデータセットを共有するためのプラットフォームです。アカウントを持っていれば自分のデータセットを共有することも出来ますし、人のデータセットをダウンロードすることも出来ます。データセットごとのDiscussionやNotebooks(後述)もあります。◆Notebooks元々は(現在も呼ばれていますが)Kernelと呼ばれていた機能で、クラウド上で計算やデータの可視化を行うことが出来ます。P100)を扱えます。Kernelユーザーが作成したNotebookを公開することも出来ます。公開されたNotebookは他のユーザーのVote(投票)によって評価され、Vote数によってメダルを獲得することも出来ます。初心者には熟練者の技術を学ぶ場にもなっています。コンペ期間中には、コンペに関するデータの特性に関する発見等が共有されています。ImagesのNotebookを例に見てみましょう。JupyterNotobookを普段から使っている方はすぐにわかると思います。左側にNotebookのアウトライン、中央にはコードと、その実行結果を確認することが出来ます。Copyをクリックすると、自分のKaggle実行環境にNotebookごとコピーでき、コードを動かすことが出来ます。コピーは元データが呼び出せる形になっているので、基本的には自分でデータをアップロードしたりせずにすぐに他の人のコードの改変が出来ます。例として表示する船を変えてみました。◆Discussion分析コンペの内容について参加者同士でディスカッションする場です。初心者からの質問もありますし、評価方法等のコンペに関すること、Notebooksと同様に参加者がコンペのデータ等について発見したこと等が共有され、議論されています。◆Courses無料でデータサイエンスを学ぶコンテンツを提供しています。Kaggleというと敷居が高いですが、Pythonや機械学習を基礎から学ぶコースもありますので初心者がKaggleコンペにトライする最初の取っ掛かりにもなります。Analysis」コースが追加されました。◆NewsFeedログインするとトップページにtwitterやFacebookのような形でタイムラインが現れます。このタイムラインにはユーザーのフォローした情報や、ユーザーの趣向を学習してKaggle内の情報が流れてきます。上記ではトップページからアクセスしましたが、各コンペページでも同様のタブがあります。上記以外には以下のタブがあります。◆Rulesコンペのルールが記載されており、賞金の金額や期限などチーミング等の参加上のルールが記載されています。◆Leaderboard開催中コンペであれば、現在のユーザーごとのランキングと、評価指標ごとのスコアが公開されています。終了後のコンペでは、ランキングとスコアに加え、獲得メダルも確認できます。Kaggleは非常にコンテンツが充実しています。機械学習に触れたことがない人でもCoursesで自分の興味のあるコースを受講して基礎から始めてKaggleデビューしてはいかがでしょうか。コンペごとにNotebooksで多くの解析手法等が公開されているので、公開されたNotebookは非常に勉強になりますし、自分で作成したNotebookを公開して意見をもらうとさらに勉強になります。常に学び続けることが出来る場です。(3)Kaggleの衛星データコンペについてKaggleではトップページの検索窓からキーワード検索で、開催中・終了コンペを調べることが出来ます。実際にどのようなコンペが行われていたのか、課題ごとに調べてみました。調査した結果、ジャンルは様々ですが衛星データを扱ったコンペのみまとめると以下のようになりました。衛星データを扱ったKaggleコンペの課題としては多く出されているようです。検出がテーマとなっていますが、船舶の検出ができることで違法漁船の多いエリアの特定ができるようになります。「分類」でテーマに上がった送電塔は、特定地域における電気がどこまで行き届いているかの推定などが可能になります。今後さらに多様なコンペが行われることで、地球全球の任意の状態把握を可能にするアルゴリズムがどんどん生まれると考えるとワクワクしますね。よる海氷と船舶の識別」(4)日本版Kaggle「SIGNATE」でのTellusコンペについて今回はKaggleについてご説明しましたが、コンペティション自体は他にも存在します。(IDAHO)や、DrivenData社が行っているDrivenData等があります。日本にも日本版Kaggleとも呼ばれている「SIGNATE」というクラウドソーシング型のデータ分析プラットフォームがあります。「衛星画像分析コンテスト」でゴルフ場の検出コンペ等を行っていました。「Tellus」でもSIGNATEでコンペを3回実施しており、第1回、第2回の内容や結果は以下の記事にそれぞれまとまっています。物体検出!第2回衛星データ解析コンテスト上位入賞者の解析手法紹介!そして、第3回のテーマは「海氷検知」となっており、2019年11月30日まで行っていました。現在結果発表待ちとなっており、後日その結果を公開予定です。Trainer」について以上、今回はKaggleの簡単な紹介と合わせて、衛星データ活用をテーマとしたコンペをまとめました。機械学習を用いることで、リモセンのプロの目で識別することと匹敵する精度を叩きだしていると「加速する「オープン化」と「実用化」の波、衛星データ×機械学習でできること」でもあったように、今後、冒頭に紹介した衛星データx機械学習の事例を目にすることはきっと増えることでしょう。衛星データx機械学習に興味を持たれた方は、ぜひ無料で衛星データを触れる「Tellus」にて、衛星データで遊んでみてください。よる海氷と船舶の識別データサイエンスコンペkaggleで実施された、衛星画像からの海氷と船舶抽出について、上位入賞者3名の解析手法について解説します。2022/4/19Kaggleランカーの7人に聞いた、2021年面白かったコンペ7選と論文7選7名のKagglerの方にアンケートにご協力いただき、2021年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。2020/6/5Kerasを使って衛星画像内の山が独立峰か連峰かを判別するモデル作成チャレンジ衛星画像を使って、画像内に写っている山が独立峰かそうでないかを判定するモデルの作成にチャレンジしてみました。