diaryITの技術的なことに関して主に書きます。Rとpythonとd3.jsとAWSとRaspberryPiあたりを不自由なく使いこなせるようになりたいです。PiFabrication本この広告は、90日以上更新していないブログに表示しています。Analyticsこれまでやってきたこと下記の記事通り、Rのdlmとforecastパッケージを使って、BJsalesという150日間の日次販売データを用いて、週次の予測ローリングをやってみています。http://hsuetsugu.hatenablog.com/entry/2014/08/25/152818http://hsuetsugu.hatenablog.com/entry/2014/08/23/125238http://hsuetsugu.hatenablog.com/entry/2014/08/22/164140本日やりたいこと「予測にいかす統計モデリングの基本」をぱらっと見返していたら、あるレストランでの2年間の日次販売金額データをインプットにしてモデリングしているのですが、欠損値のある期間についても推定されたトレンド成分が欠損値にふられずに算出されていたので、ちょっとトレースしてみることにしました。Kindle版この商品を含むブログを見る下記のサイトを主に参考にさせていただきましたので、正確にはトレースのトレースですが・・。(コードはここのを参照したので、この記事には貼付けません。今回のデータは仕事で扱ってるデータじゃないのに、結構仕事で使うようなデータとよく似ています。書籍から作ってくれた人すごい・・・!!業務ではそもそも周辺イベントのデータって誰がどう取得するんだっけ、とか、データ収集の話が重いんだろうな・・。小売のチェーンストアとかになると店舗数が多くて商品数も多いので、各ノード(店×商品)について周辺イベントとか特に考えずに在庫でバッファリングするか突発的なイベントは現場業務でなんとかやりくりしてしまう(少なくとも過去実績が適切な切り口で可視化さえされていれば十分)だろうけど。そもそも店別カテゴリ別の適切な販売計画をどうたてるか、ということが肝になるので、使うとしたら人口動態みたいなマクロデータをもとにして、本部側と店側のデータドリブンなPDCAをどうまわしていくか、みたいな話が中心になりますが、その辺がいわゆる"データ分析"と"コンサル"との違いなのでしょう。そのへんの違いが、"データサイエンティスト"とかいう肩書きが極めて胡散臭く聞こえる理由なのでしょうか。自分としては、エンジニアリングおよび統計的な理解の欠如から、これを名乗れないと認識しているし、それ以前に、上記のような理由から名乗りたくない。同じように"データサイエンティスト"と名乗りたくない人は多くいるのではないかと思います。なんかかっこ悪いし、サイエンスかどうかなんて議論はほんとにどうでもいいし。サルしている人の多くはデータ分析を大上段に構えすぎていて、定性的なヒアリングと目的は同じであることをあまりわかっていないし、分析が得意な人の多くは業務を知らなさすぎる上に客と話せなすぎる、というのは経験上間違えではなさそうで、これはコンサルとエンジニアの違いと近いものがありそうです。自分はなんなのかというとはっきり表したい肩書きがないのですが、少なくとも事業に近いところをやろうとすると今はコンサルスキルよりも実装力だとか分析力が圧倒的に不足しているので、そこを今の期間にのばしておきたいと思っています。それからソフトウェアからハードウェアへ。Piから離れていますが、「予測にいかす統計モデリングの基本」にも最後に出てくる題材は粒子フィルタを使ってロボット制御する、というお話なので、この辺うまく組み合わせたものを9月中には何か形にしたいと思っています。X)インストール特にひっかかったところはなく、下記コマンドをRで実行して問題なくインストールできました。2000)install_rstan()実行テストこれも上記のURL通り実行してみて、計算されているようでした。4)「予測にいかす統計モデリングの基本」のトレースのトレースデータまで作成して公開していただいたのは本当にありがたいです・・・。今回のデータは、天気、周辺イベントなど外的要因も多く含まれてますが、まずは結果としての売上時系列がどうなっているのかを下記のような感じで把握しました。イベント効果と天気の影響の概観確認あとは、イベントの開催頻度だとか、その効果の度合いをなんとなくみておきます。geom_point()日次のイベント参加人数に対する売上金額(色は天気)stanでモデリング基本的な考え方として、売上データをトレンド(長期変動)と曜日変動(週効果)と天気(雨効果)と周辺イベント効果と自己回帰(AR)項と残差の和で表します。曜日変動は単純に平日と休日というだけでなく、祝日の効果と祝前日の効果を土日、金土とどれだけ似ているのかをモデリングできるようにしていて勉強になりました。週単位だったらMDカレンダで週番号さえあわせておけば業務的にはここまでしなくてもいいかもしれません。上記のURLからコードをもってきて実行してみましたが、計算実行に時間がかかるようので、今日はここまでとします。下記の部分でRからstanに欠損値の期間を明示的に渡しており、それが必要となると使いにくい・・・。d$Sale[Idx.obs]欠損値なのか、ほんとに売上がなかったのか判別が難しい場合はどのようにしたらいいのでしょうか。今回のケースだと欠損値であることは売上データからみて明確ですが、グローバルで多店舗で展開しているようなケースで、店舗ごとに店頭欠品がある期間がそれぞれいくつかある場合になにかやりようがないでしょうか。店頭欠品は各店で在庫が0になった時とかって判別できるので、そういうデータを渡す、ということにすれば可能ですが、そんな感じでやるのかな。Pi(はじめての電子工作2:WEBIOPi、Apacheと...前回の続きです。(1)月別アーカイブはてなブログをはじめよう!hsuetsuguさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。