prediction(その1)論文読み以下の論文を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらご指摘ください。前回の論文の引用文献の話が長くなりそうだったから記事をスピンアウトするね。モデルの先行研究であって、ニューラルネットを利用するものであって、グローバルなパターンも学習するものの2つ目の方ね。行列分解(MF)するんだね。各列はその時刻の特徴って感じだね。こんな行列分解を求めるには以下を解くんだけど、2番目の項と3番目の項は正則化項だね。関係ある何らかのノルムなのかと思った...)なる正則化は適切ではないといっているね。行列分解を用いた先行研究ではこういう時間方向の依存性をグラフベースで取り扱ってラプラス正則化を適用しているみたいだけど、これだと2時点間の負の相関を考慮できなかったり、そもそも時間依存性が明示的に手に入っていない場合は推測しないといけなかったり、欠損値には強いものの予測は不得手だったりするって。導入することでデータドリブンで時間依存性を学習できて予測性能もあると。特徴であるスケーラビリティと欠損値への強さはそのままに。あと先行のグラフベースアプローチとの統一的な見方も与えると。することで既存のソルバーが活用できるって。本論文の2節には先行手法とその限界についてまとめてありますね。数十を超える次元数を取り扱うことはできないと。グラフベースの正則化をする手法が以下ですよね。みえるのですがどう違うのですかね...。(2009)ただ以下の先行手法は例外で、正則化項をカスタマイズしているということですが、これは音声認識の論文でしょうか。(2008)まあそれで、グラフベースの正則化とは以下のようなものであるということですね。間の枝の重みということでしょうか。枝があるところについての和ですね。同じ値であれ」という最適化ですね。2項目はよくあるように、最適な点があることを保証するためのものっぽいですね。それはそうでなければ最小化が実行できませんものね...。設定して上の最適化をするのですね。それでは、負の相関を考慮できないし、そもそも明示的に時間依存構造が必要だし、予測性能もよくないのですね。そのものもデータから学びたいということになりますよね。素朴には、以下のような最適化をしたいということになります。なるのは明白だと...当然ですね...。このアプローチは取れません...いったいどうすれば...。Forecasting(その1)論文読み以下の論文を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらご指摘ください。次回:まだ近年の時系列データには、一系列が一個人に対応し、何千もの系列が互いに相関するようなものがありうるとありますね。それらの系列からグローバルなパターンを搾り取った上で、個別データに対するキャリブレーションをするとよい予測ができるのではないかといっています。モデルと、個別の系列の性質及びそれらの相関を捉えるネットワークを組み合わせるということです。方々の論文で、2番目は割と古いですね。3番目も結構古い本です。含まれているということですが、ECサイトでいう「各カテゴリの需要」や「各商品の需要」というのを指しているのでしょうか。AR、ARIMA、指数平滑法、Box-Jenkins法、状態空間モデルを適用する方法がとられてきたとありますね。このうち、状態空間モデルについては複数の系列を一緒に取り扱えますよね。膨大な数の系列にはスケールしないということですか。そんな気はしますが...。すべての系列が共通にもっているパターンを上手く利用できないともあります。これは状態空間モデルでもそうなんでしょうか。話があって、これらは大規模な時系列も学習できるものの、2つの欠点があると指摘していますね。個々の時系列の規模が異なると上手くいかない。個々の製品の需要予測の場合、人気商品の需要の規模はニッチな商品のそれよりも大きい。このような場合、上記のようなニューラルネット手法では正規化が必要になる。正規化のパラメータ調整は難しい。モデルは予測時に個別のデータの過去データしか利用していない。データはすべての時系列にわたるグローバルなパターンをもっている。2次元畳込みと再帰結合を組み合わせて、予測時に複数時系列のグローバルな情報を利用できるようにした。何千次元にはスケールしない。すべての時系列を「基底時系列」たちの線形結合で表現する。この「基底時系列」がグローバルなパターンを捉える。線形な時間依存性しか表現できない(?)。行列分解の際に近似誤差が生じ、個々のパターンの情報が失われやすい。...グローバルなパターンを活用しようとしたモデルについてこう簡単にかかれていますが、具体的にどのようにグローバルなパターンを捉えているのですかね?1つ目の方は論文内の図がわかりやすいけど以下のような感じだね。2次元畳込みをして、その出力を普通にGRUする層と、スキップしてGRUする層もつくって(例えば1時間毎といった周期性があるデータなら1時間スキップして1時間毎のレベルの変化を学習するみたいな)、それらの出力を全結合してニューラルネットの予測結果にする。それを、通常のARモデルの結果と足し合わせるみたい。2つ目はスケーラブルで欠損値があっても大丈夫らしい。marketing(その1)論文読み以下のペーパーを読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。お気付きの点がありましたらご指摘ください。次回:まだあらゆる因果分析のキモは「反実仮想」、つまり、「もしその処置がなされていなかったら何が起きていただろうかと推測すること」ですか。冒頭の例は、以下のようなものですよね。回帰しても、これは上手くいかない。推定されたとしても、ノースダコタ州では人々はハワイ州の人々ほどサーフィンに興味があるとは思えず、同じ効果を見込めるとは思えない。これは「サーフィンへの興味」という説明変数が足りなかったのだ。実際、「テレビ広告の効果」って在宅の主婦や高齢者が多く住んでいるかとか土地柄とかに左右されそうですし...まあどうでもいいですが...。...そうなんでしたっけ?そうだよ。平均がゼロになるように中心化してるから後者が前者と同じなんだよね(だから切片を考えてないんだけど)。ときのみであると...。求めるときの仮定ですよね。ゼロであるとしたものをひねり出すこの式変形には違和感があるんですが...まあいいです。7310ページ左列の一番最後には因果推論のテキストでよくいわれるあれがかいてありますね。広告の打ち方に介入せず、単に広告費から売り上げを推測したいだけならさっきのシンプルな回帰でも構わない。いま知りたいのは「広告の打ち方を変化させたときに売り上げがどう変わるか」なのでそれではいけないということです。...そうですね、極端な話、配給会社は面白い映画にはその面白さの度合いだけ広告に熱を入れるかもしれません。人々は面白い映画にはその面白さの度合いだけ映画館に足を運ぶかもしれません。このとき、広告費と興行収入は比例してみえますが、実は人々は配給会社が打った広告とは全く関係なく映画を見に行っていただけかもしれません。この場合、広告費を2倍にしたところで興行収入が2倍になるとは思えません。variable)だね。これが存在するから上辺の関係だけみていても効果を測ることはできない。その問題は「人のふるまい」を分析するときにはいつもついてまわる...ですか。無関係でなくなってしまう、と。アナリストを雇ったのであればもう少しコミュニケーションしてくれませんかね...。現実にはマーケティング担当だって把握していない要素があるでしょうが...。ない限り)効果が出やすい広告の打ち方というのをしますから、本質的に交絡変数が存在するということですね。交絡変数が存在する例として、他にも以下が挙げられています。なる)」という例ですよね。逆の例ってありませんか?あくまで例だけど、ある病院で、個々のお医者さんが手術した患者の生存率のデータがあるとする。腕のいい人ほど重篤な患者さんを任されるかもしれない。「お医者さんの腕のよさ」と「患者の生存率」は思ったほど正の相関をもたないかもしれないし、下手すると相関が負になってくるかもしれない、みたいなのはどうかな。「運転しない人ほど事故を起こさない」「コードをかかない人ほどバグを出さない」ってやつですね?そこまでいってないよ!?先の例の後に、ラテン語のフレーズが含まれた文が出てきますね。紹介しますが、これは現実的ではないので、経済学で観測データから因果効果を推定するのに用いられる以下の4つの手法を紹介するということですね。「キャンペーンを受けた処理群がキャンペーンを受けなかった世界線での、キャンペーン後の時点での値」とでもいえばいいでしょうか。処理群の人たちがもしキャンペーンを受けなかったとしたら、変化は対照群の人たちと同じであったはずだ、という仮定ですね。これが正しい状況かは慎重に判断しないといけませんが...。観測データのみから計算することができます。何のことはない、処理群の成長度から対照群の成長度を差し引いただけですね。「差の差」というわけです。