現在JavaScriptの設定が無効になっています。このページを利用するにはJavaScriptの設定を有効にしてください。景気の「今」を把握することは可能か?(II)こんにちは、「Yahoo!ビッグデータレポート」です今回は4月にお届けした「景気の「今」を把握することは可能か?」の第二弾をお届けします。JAPAN景気指数(Ver1.0)」を発表しました。その結果、「Yahoo!検索」のデータを利用することで、ある程度の予測は可能であるとの結果を得ました。JAPAN景気指数(Ver1.0)」では、3月の景気動向一致指数を「91.9」と予測しました(図1)。Yahoo!検索」データこの結果がどうなるのか、大変楽しみにしていたところ、その後6月に過去数カ月分にわたってさかのぼった数値の上方修正(差し替え)が行われました。結果、例えば92.1と理解していた2月の内閣府発表値が、93.7(+1.6)となるなど、モデルの前提が崩れてしまい、値の単純な比較が不可能になってしまったのです(図2)。JAPAN景気指数の大幅なバージョンアップを行うことにいたしました。それが本レポートです。JAPAN景気指数(Ver1.0)」で残された課題もあわせて解決すべく、まずは課題の見直しを行いました。大きな課題は3つありました。JAPAN景気指数(Ver2.0)」の抽出に取り掛かったのです。推移となるべく近しい推移をする、相関係数の高い検索キーワードをすべて集め、単回帰分析と呼ばれる手法により数値を算出する”というものでした。同じ手法を用いたのでは前回の課題は解決できません。JAPANビッグデータレポートチームはその解決方法として、キーワードの“数”を重視するのではなく、重要なキーワードのうまい組み合わせ方を重視するアプローチから課題の解決を試みました。データの質を向上させるため、入力データ期間を長くしました。前回は2009年12月〜2013年2月までと約3年間のデータでしたが、今回は2005年6月〜2013年4月までと約8年間のデータを用いました。前回は75億種類から絞り込んだ60万種類のキーワードを元に分析を行いましたが、今回は60万種類からさらに分析に適した質の高いデータをもつキーワードをフィルタリングする作業を実施し、より厳選された2万種類のキーワードに基づき分析を進めました。質を上げるための最大のポイントとして、抽出したすべての変数を一つの変数に落とし込む「単回帰分析」から、複数の変数を独立して取り扱う「重回帰分析」へモデルを本質的に変更いたしました。この「重回帰分析」の手法で選び出された検索キーワードは約15前後(予測計算をする月によって数が異なる)となり、数だけを見れば前回の分析で使用した196に比べて激減していますが、数ではなく多様性を伴った質という面で大きく見直しました。「オーバーフィッティング」というワナしかし、その「重回帰分析」を用いた予測をするにあたって一つの大きな落とし穴がありました。推移とほぼ同じになるまで変数(検索キーワード)を足して式を作成し、そこから予測すれば一番精度が高いのでは?」と思うところですが、実際に計算してみると予測するまでの推移はほぼ完全一致するにも関わらず、予測値を出すと実際の景気動向一致指数と大きくかい離してしまう現象が発生するのです。これを「オーバーフィッティング」、過剰適合と呼んでいます(図4に例)。Yahoo!検索」データこれが今回の分析でもっとも重要かつ難関となる「大きな落とし穴」でした。過去の景気動向一致指数とおおむね一致するグラフを作ることはそれほど難しいことではありません。上の例のように、肝心の予測値が大きくぶれてしまっては元も子もありません。過去の推移にも近しく適合し、かつ予測値も大きくかい離しない組み合わせと重み付けを見つけだすこと、それこそが今回の最大のポイントでした。最適なモデルを構築オーバーフィッティングにならない最適な組み合わせを求めて何度も出力を繰り返しました。Yahoo!検索」データ実際の予測を行った2013年2月〜6月のところを見てみると、最大のかい離の値は1.0、平均は0.5と高い一致を得ることができました(図6)。“96.3”でした(図7)。Yahoo!検索」データ内閣府からの速報値の発表は7月5日予定、改訂値の発表はさらに先になります。今回はどのような結果になるのか、開けてみてのお楽しみとしたいと思います。JAPAN景気指数(Ver2.0)」ですが、それでもすべての課題が解決したわけではありません。今回の見直しの過程で新たなる課題が出てきました。なかでも大きな問題だと捉えているのは、内閣府の出す景気動向指数が発表後に何度も過去にまでさかのぼって数値が変更される点です。JAPAN景気指数の予測値との大きなかい離を生み出す可能性が高く、今後我々がこの指標を続けて発表して行くにあたっての懸念材料となっています。他にもいくつか重要な課題があり、図8にまとめています。JAPANが持つビッグデータを用いた予測の手法は、今回の取り組みによってより洗練され、着実に進歩したものと考えています。JAPANが持つビッグデータにとって、どのような意味を持つのかを考えてみたいと思います。ビッグデータという言葉が急速な広がりを見せていますが、巨大なデータ群という意味でいうと、保有している企業や団体などは世の中にたくさん存在します。重要なのは巨大なデータ群の中からいかに価値を見いだせるかです。JAPANが持つビッグデータの間の関連性についてお届けしてきました。JAPANが保有するビッグデータから、社会の様々な現象を読み解ける可能性」を示唆しています。今回の景気指標予測と同じ手法を用いれば他の指標、失業率や電力消費量なんてものまで予測できるようになるかもしれません。そのような意味で今回の景気指数の取り組みは、大きな可能性と価値を秘めたものではないかと期待しています。JAPANビッグデータ」では我々が持つ数々のビッグデータを利用して、話題の事象に関するレポートを今後も報告していく予定です。これからも楽しみつつご覧いただければ幸いです。JAPANビッグデータレポート」チームです。答え合わせをしてみたいと思います。その前に、重大な変更点をお知らせしておかねばなりません。日公表の平成25年5月分速報からCIの基準年を現行の平成17年から平成22年に変更するとともに、新しい基準年に基づき遡及改訂した結果を公表することを予定しています。」という文面があり、つまり、これまで2005年を基準年として100とした指数で発表されていた景気指数が、7月の発表より2010年を100としたものに変更されました。JAPAN景気指数(Ver2.0)」もそれに合わせて数値を変更しています(図9)。内閣府から発表された景気動向一致指数(改定値)の差はいったいどれぐらいあったのでしょうか(図10)。Yahoo!検索」データ新しい基準値に合わせた数値で比較した結果、その差は+0.3という結果となりました。JAPAN景気指数(Ver1.0)」で検証した予測数字と景気動向一致指数の差の最大が1.51、差の平均が0.51であったことと比べると、改善されたといえるのではないかと思います。してみました(図11)。JAPAN景気指数(Ver2.0)」からさらに改良を加え、分析に使用したキーワードの総検索量の波を用いて、各検索キーワードごとに検索量の補正を行うなど、精度向上に向けてマイナーチェンジをしています。JAPAN景気指数(Ver2.0)」から導き出された値は「108.8」。6月の景気は引き続き上昇を続けていた、と予測されました。内閣府から数値が発表されるのは8月6日です。今回はどのような結果になるか楽しみです。JAPAN景気指数(Ver2.0)」を引き続き報告していく予定ですので、今後ともよろしくお願いいたします。あらゆるカテゴリーの膨大なデータを分析・活用し、データの持つ力と面白さをお伝えしていくもので、定期的に情報を更新してまいります。JAPANビッグデータレポート」のご利用や企画でのご活用・コラボレーション等に関するご相談はこちらからお願い致します。