byyanaiいわゆる回帰分析に代表される数理モデリングとその種類を説明していく。「Xという要因→Yという結果」という関係を$$Y=a+bX$$で表す。)いわゆる「回帰分析」である。Model)線形回帰の一般形。線形回帰モデルは従属変数が正規分布という前提があるが、さまざまな分布の従属変数に拡張した回帰の手法になる。Netともすると変数が多くなり、凡化性能がなくなる。そこで変数が増える(パラメータの絶対値の合計が大きくなる)につれて加算されるペナルティ項を推定時に加えることで、モデルが複雑になりすぎないようにする。→正則化項つき線形モデル線形モデルの推定時に項を加えるだけなので一般化線形モデルの中で使える。手法ペナルティ項の種類によって手法が異なる。ランダムなスパイクを含むことがある。時間が経っても(長い期間の中、分析対象としてどの期間をとっても)平均やばらつきが変わらない=定常性ことを前提としている時系列分析モデルが多い。階差をとる(成長率、変化率をとる)などによってデータを調整することになる。株価などは実際の価格ではなく、リターン(価格の変化率)の系列で分析する。非定常の場合、無関係の2系列間で回帰分析をしたとき、関係があるように見えてしまう(見せかけの回帰)モデル時系列のデータの性質によってさまざまなモデルがある。ARMA(定常、分散均一)ARIMAモデル(非定常)季節変動を加味したモデルもありGARCHモデル(分散が時系列)株価のリターンなど、実際には分散が均一でないVARモデル(多変量)主成分分析と因子分析どちらも数多くの変数から少数の変数にまとめる手法。独立変数のみのモデル。Analysis)数多くの変数を数少ない合成変数に集約する手法(データ)→第1主成分+第2主成分+第3主成分+...あくまで出てきた主成分に理論的な意味はない。固有値:その主成分の説明力(情報量)の大きさ寄与率:その主成分が全体のどの程度の割合を説明しているか(0~100%)因子分析(FA)数多くの変数の背後に潜在的な因子があると想定して、その因子を探る手法(データ)←第1因子+第2因子+第3因子+...手法によって結果が変わる。意味を解釈しやすいようにアウトプットの形を変える。階層ベイズモデルパラメータを点推定するのではなく分布で推定する一人一人のパラメータを分布で推定できるため、複雑な個人間異質性をモデルに組み込むことも可能。Talend直接データ加工スクリプトを書くこともあり。Colaboratory。GPUと12GBのメモリ、350GBのディスクまで使える環境であり、手元のPCよりハイスペックな人も多いだろう。RユーザにとってはPythonだけでなくRでも使えたらいいのにと思うところである。)https://www.marketechlabo.com/normal-distribution-javascript/Javascriptで正規分布の乱数発生(rnorm)、確率密度関数(dnorm)、累積分布関数(pnorm)、累積分布の逆関数(qnorm)を実装する(逆関数は参照で)。すべて標準正規分布を想定。Javascriptに限らず使えるアルゴリズムだが、日本語でまとまっている情報があまりな...marketechlaboRのdata.tableパッケージの使える関数一覧https://www.marketechlabo.com/r-data-table-functions/Rのdata.tableはデータフレームを高速に扱えるように改良した形式だが、この機能を提供するdata.tableパッケージには添え字を使ったdata.tableの処理機能だけでなく、さまざまな関数が実装されている。中にはdata.table以外の形式にも使える関数もあり、dtの形式で使...marketechlaboRのおすすめパッケージ2019年版https://www.marketechlabo.com/r-best-packages/Rのおすすめパッケージをアップデートしてまとめた。定番の分析手法をはじめ、可視化やデータ処理に便利なものなど、幅広く紹介した。中にはマストというものもあるし、意外と知られていないがインストールしておくと便利なものまで、使い方の例も挙げて説明している...marketechlaboRを使ったXGBoostの高度なパラメータチューニングと細かいノウハウhttps://www.marketechlabo.com/r-xgboost-tuning/XGBoostは機械学習手法として比較的簡単に扱える目的変数や損失関数の自由度が高い(欠損値を扱える)高精度の予測をできることが多いドキュメントが豊富(日本語の記事も多い)ということで大変便利。