(行列因子分解モデル)普通はスパースな(疎な、穴だらけの)データが元になる。穴になっている箇所を推測することで、レコメンドを実現する。2つ(商品と、ユーザー)の特徴行列に分解する。2つの特徴量行列を交互に学習し、誤差を小さくする。増やせば増やすほど、性能が改善する。それほど変わらなくなるラムダは値を増やしていくと、下に凸のグラフになる。している、だんだん値を上げると精度が改善してくる、上げ過ぎると境界面がのっぺりしてくるので精度が悪くなる。値を増やすと、オーバーフィッティングしやすくなる。値を増やすと精度が悪くなる。スクリプトを自分で用意する必要があるので面倒くさい。ラムダの実験的な決定。データ次第なので、繰り返しトライエラーして値を決めないと行けない。速度の問題ユーザー、商品の数が大きくなると辛くなってくる。ユーザー数と商品数の掛け算のような状態になるので、すごく時間がかかる。配り、個別に計算するように改造して高速化した。基礎知識RDDDAG型実行計画:処理の経路を保持しておくことで、途中で障害が起きても、再度同じ処理を行うことで復旧する。1〜3倍がベストと言われている。増やしすぎると遅くなるし、アルゴリズムによって適切な数は依存する。Cacheクラスタ横断でメモリ上に処理データをキャッシュすることができる。たどって処理されるので最初期だけでキャッシュされると遅い。Localityデータと処理が同じ箇所で事項されているのが速い。ローカリティが働いているかどうかを確認できる。メモリに全てロードする処理になる。メソッドなのでできるだけ代替する。リカバリー処理こんにちは!ご無沙汰しております。触りたおしているよしだです。はてなブログPro検索プラットフォームの開発・運用をしているプログラマーです。好き勝手なことを綴りますが、どうぞ宜しくお願いします。所属組織とは関係のない個人の見解です。(41)月別アーカイブはてなブログをはじめよう!yoshi0309さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。