探索的分析を中心とした予測部門のチュートリアルを公開しました。ある質問をFAQに整理しました。FAQに「アイデア部門」に関するよくある質問を追加しました。過去の入賞作品のリンクをわかりやすくしました。コンテスト趣意IoT/ビッグデータによる産業活性化を目的として、革新的なデータ分析事例・アイデアを広く公募します。鉄道や道路、上下水道、ガス、港湾といった社会インフラは、人々の快適な暮らしを支える重要な役割を果たしていますが、近年その老朽化や維持管理が大きな社会的な課題になっています。このような社会インフラの重要性をデータ分析という切り口で考えてみることが、第4回ビッグデータ分析コンテストのテーマです。現在、IoT技術や人工知能、センシング、モニタリング技術が大きく進展しています。上述の社会インフラの維持管理の問題を解決する手段の一つとしても、これらの技術は大きく期待されています。今回のコンテストは、社会インフラの一つである鉄道に着目し、「予測部門」と「アイデア部門」で行います。「予測部門」と「アイデア部門」の2部門を開催します。いずれか1部門のみでの参加も可能です。「予測部門」においてレポートの提出は必須で、未提出の場合は精度賞においても評価の対象外となりますのでご注意ください(提出締切:1/10)。※副賞は鉄道博物館のスペシャル体験や大型線路補修機械の操縦体験を予定しています。提供された鉄道の軌道検測データです。軌道は、列車走行に伴って一定度の「ゆがみ」が生じるように設計されています。これは、鉄道の建設費用を抑えるために、供用開始後に一定度の維持管理(メンテナンス)を前提とした構造を採用しているからです(建設費用と維持管理費用を足したものが全体として小さくなるように考えている)。この「ゆがみ」は「軌道変位」と呼ばれますが、軌道変位が大きくなると、列車の安全性や乗り心地に影響します。そのため、鉄道事業者は、軌道変位を定期的に測定し(軌道検測)、一定の補修目安値に達すると補修を行うといったメンテナンスを実施しています。一方で、軌道の強度はその建設された時々の技術水準を反映していることや、場所ごとによって軌道変位の推移が大きく異なるため、場所ごとの劣化状態を良く把握して補修のタイミングを意思決定することが求められます。軌道検測は、今まで年4回実施することが限界でしたが、小型で高精度な検測装置である「線路設備モニタリング装置」が実用化され、高頻度に軌道検測ができるようになってきました(http://www.jreast.co.jp/press/2018/20180704.pdf)。これにより、軌道変位の詳細な推移を把握し、劣化傾向の変化を早期に発見することができるようになりつつあります。過去の軌道検測データから将来の軌道変位を予測し、最適な時期に補修を行うことで、ライフサイクルコストを最小化する試みが始まっています。本コンテストでは、これらのモニタリングデータを基に、将来の軌道変位の予測にチャレンジしていただきます。データの特徴や予測時の注意事項は「詳細セクション」をご覧ください。普段目にする機会の少ない産業界の実際の課題・データを対象に分析することにより、優秀なデータサイエンティストの発掘や優れた分析者の技術からの学びによる人材育成効果も合わせて期待します。重要な社会インフラである鉄道をテーマにデータを活用した分析アイデアを競う部門です。対象とするデータは公開されているデータを含めてどのようなものでも構いません。分析のテーマも鉄道に関連すればどのようなものを設定しても構いません。適用する分析手法も人工知能技術に限定せず、どのようなものを用いていただいても構いません。分析アイデアを第三者に理解してもらうために、「可視化」を上手く活用するなど分析結果の表示の仕方に注意を払う必要があります。それ以外は、自由な発想での分析を期待しています。提出物の詳細や参考事例は「詳細セクション」をご覧ください。error(MAE:平均絶対誤差)」により評価します。評価値は0以上の値をとり、精度が高いほど小さな値となります。観点から総合評価を行います。精度の最終順位の決定1.コンテスト最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンテスト終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。スコアボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。以下を提出していただきます。いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。最終提出した予測値と学習済モデルから出力される予測値が一致しない5.入賞候補者が入賞資格を失った場合は、スコアが次点の方が繰り上がり、新たな入賞候補となります。全入賞者の確定をもって、それを最終順位とします。分析アイデアの先進性、理解のし易さ(可視化の度合い)、独自性等といった複数の観点から評価します。扱うデータはどのような形でも(オープンでもクローズでも)構いません。した場合、本コンテストの事務局メンバーにメールアドレスを共有することに同意すること。※表彰式に関する連絡は、運営事務局より入賞者に直接ご連絡させていただきます。心構え・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨むこと。・利用アカウントは1人につき1つまで。アカウントが1つであればチームでの参加も可能。情報の取り扱い・同じチーム以外の参加者と本コンテストの予測に関連するデータ・ソースコードを共有する行為は禁止。・(予測部門)提供するデータ以外のデータを用いてモデルを学習することは禁止。・提案した方法が一般的な環境において追加費用負担を伴わず、再現及び継続使用可能であることを保証すること。同じフォーマットで、異なるデータを入力した場合にも同様なロジックで予測できなければなりません。根拠無く局所的に予測値を修正することは禁止となります。3つに分け、それぞれを実行すれば処理が進むように実装すること。1Preprocessing提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。2Learning1で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。3Predicting1で作成したテストデータ及び2で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。補修は、凹んだ部分を直す、つまりマイナスの軌道変位の数値を0に戻すものだと思いますが、それ以外のケースもあるのでしょうか。補修の方法や種類を教えてください。軌道変位の計測に利用している10m弦正矢法の原理上、数値がプラスに劣化する場合もあります。このため全てが凹むわけではありません。補修とは、列車走行によって軌道変位の絶対値が大きくなった部分を直すことで、定期的なチェックの元、変位があるしきいを超えていた場合等に機械を使用して1日で対応します。ルールの実装方法記載の「同じフォーマットで、異なるデータを入力した場合にも同様なロジックで予測できなければなりません。」というのは、今回公開されているデータセットの路線とは異なる路線、または同じ路線の異なるキロ程でも作成したモデルで予測できなければならないということでしょうか。今回公開されている路線・キロ程の範囲に特化したモデルではダメということでよろしいでしょうか。今回公開されている範囲以外の路線やキロ程に対しても、予測できるモデルである必要があります。Colaboratoryは、無料ですので利用可能です。利用等は禁止となります。分析環境として使用すること自体は構いません。メモリ容量の指定がある場合は、上限32GBまでとしてください。営業車両で軌道検測を実施しているため、駅構内で停車する際の番線が日によって異なることがあります。基本的には別番線を走行した場合は、データ取得を止める仕組みとしていますが、場合によっては、データが取得されてしまう場合があります。検測点は車輪の回転に応じて付与される仕組みとなっており、滑走(車輪が回転しないのに電車が進む)や空転(車輪が回転しているのに電車が進まない)が生じると、位置がずれてしまうからです。検測地点のズレが生じた場合、補正する手法を導入していますが、補正手法は日々改良を重ねているため、データの取得時期によっては、複数のデータが存在する場合があります。異常値を除去したうえで、予測するモデルの構築を検討してください。評価期間における異常値は評価の対象外となりますのでご安心ください。分析に人工知能技術を使う必要は特にございません。アイデアがどこまでの範囲を指すのかによりますが、使ったデータやアイデアを導いた一連のストーリーも必要となります。昨年の入賞作品を参考にしてください。制限はなく、オープンでもクローズでも構いません。テーマが鉄道であればインフラメンテナンスに限る必要はございません。レポート未提出の場合は精度賞においても評価の対象外となりますのでご注意ください。予測部門では、線路設備モニタリング装置で測定した軌道検測データを基に、軌道の高低変位予測モデルの構築及び説明変数の設計を目的として、コンテストを実施します。今回提供される線路設備モニタリング装置で測定したデータは、1高低変位、2通り変位、3水準変位、4軌間変位の4種類あります。1高低変位と2通り変位は「10m弦正矢法」という方法で検測されたものです。これは、10mの水糸をレールに張り、その中央部の水糸とレールと間の距離を変位と定義する鉄道独自の方法です。この測定方法を連続的に間送りしたデータで軌道の状態を把握しています。この方法でレール長さ方向の凹凸(不陸)を評価したものが、「高低変位」、レール側面の長さ方向の凹凸を評価したものを「通り変位」と呼んでいます。実際の測定機構は、測定したデータをフィルター処理することで、10m弦正矢法による変位量を算出する方法を採用しています。「水準変位」は、左右レールの高さの差と所定高さの差を指します。軌道には、列車が曲線をスムーズに曲がるために(遠心力で外側に引っ張られすぎないようにするために)、外側のレールを内側のレールよりも高くする「カント」がつけられています。鉄道の世界では「カント」と呼びますが、「バンク」と同じものです。所定カント量(正規のカント量)は、曲線半径の依存しており、曲線半径が小さい曲線ほど大きな値となっています。この所定カント量(正規のカント量)に対する変位を「水準変位」と呼んでいます。左右レールの距離を「軌間」と言います。在来線の軌間は1067mmです。この1067mmに対する差を「軌間変位」と呼んでいます。軌間も急曲線箇所は、列車が曲線をスムーズに曲がるように、5mmから20mmほど一部拡大させてあります。発生し易い箇所にはフラグがついている・極稀に異常値が発生する場合がある(フラグはない)・データが検測できず欠損する場合がある軌道検測データは、補修の実績も含めて表現されているため、補修時期直後の検測データは良い状態(変位量が小さい)を示しています。補修時期はデータに明示されていないため、データ傾向から推定することが必要になります。軌道は、土路盤の上に砕石とマクラギを配置して、マクラギにレールを締結する構造が一般的です。列車荷重をマクラギを介して砕石と土路盤で支えるため、軌道変位が急進的に変化する場合があります。コンクリートでできた道床や路盤の線路や橋げたに直接マクラギが載っている橋りょう部分は支持剛性が高いため変化が小さくなります。このような特徴があることも踏まえて予測モデルを構築する必要があります。概要のセクションでも説明したとおり、軌道は、場所ごとにその変位量が大きく異なるという特徴をもっています(同じ路線でも劣化率が場所ごとに大きく異なる)。この変動因子には様々なことが想定されますが、列車の走行量(通トン)と踏切、トンネル、橋梁等いった設備条件に大きく左右されることが分かっているため、これら条件データである「設備台帳データ」も同時に提供されています。本コンテストで競っていただく予測内容は、「高低変位」になります。これら、高低変位を高い精度で予測できるようになると、どのタイミング補修を行えば良いかといった補修時期の最適化を図ることができます。そのため、軌道変位の劣化予測は保線業界(軌道のメンテナンス業界)では重要なテーマとなっています。予測内容以外の検測データも提供されています。従って、これらデータも活用した予測モデルの構築も大いに期待されます。評価する「モデリング賞」が準備されています。参加者の強みを活かした応募をお待ちしています。今回提供されるデータは、東日本旅客鉄道の路線で検測された実データと設備台帳データです。首都圏路線と地方路線の複数路線のデータとなっています。※検測開始日は路線によって若干異なります。※項目等の詳細はデータのダウンロードページで確認できます。評価データ【軌道検測データ】首都圏路線A、首都圏路線B、地方幹線C、地方路線Dにおける、各検測地点(キロ程)の左レールの高低変位の変位量(mm)を1日単位で検測したデータ(2018/4/1~2018/6/30)※評価期間内に補修が行われた場合、該当するキロ程における補修作業日以降のデータは評価の対象外とします。※評価期間内で異常値と考えられる値については、評価の対象外とします。構築した予測モデルの内容を説明したレポート(必須)。未提出の場合は、精度賞においても評価の対象外となりますのでご注意ください(提出締切:1/10)。予測モデルのレポートを送信アイデア部門アイデア部門では、鉄道をテーマにデータを活用した分析アイデアを競って頂きます。鉄道が重要なインフラであるということを踏まえて分析を行ってください。用いるデータに制限はありません。■提出物ブラウザで閲覧可能なHTMLファイル(関連ファイル一式)、またはPPTやPDFなどによるポスターやレポート等、特別な環境を用意することなく閲覧が可能なものであれば、表現方法は自由です。作品タイトル、コンセプト、利用データ、メッセージは提出物に含めてください。