銀座の屋上菜園を耕しています。コンピュータ畑も耕します。この広告は、90日以上更新していないブログに表示しています。2015-10-05ECを支える人工知能の分類と学び方一覧スポンサーリンクTweet皆さんこんにちは。1936年、かつてアランチューリングが書いた論文をもとに「エニグマの暗号を解読するのは人の手では無理だ、難しいことは機械にやってもらおうじゃないか!」という動きができました。2015年現在、「情報が氾濫しすぎている。人の手では無理だ、多くの情報からコンピュータが勝手に考えて答えを出してよ!」という人工知能に発展してきています。一言で人工知能といっても流行りのディープラーニングからただの統計のようなものまでたくさん種類があります。ロボティクスなどに応用されていますが、どのような人工知能の種類があるか、現時点で最もAI活用が進んでいる先端のECサイトを例にとって見ていきたいと思います。人工知能のECサイトでの全体マップは下記のようになります。人の脳の構造を模倣しニューラルネットワークという手法を多層化。教師あり学習とは事前に与えられたサンプルとなるデータを「教師からの例題」とみなしてそれをもとにデータの識別を行う手法です。売れ行き予測や少ない商品群のカテゴライズなどで一般的に使われます。回帰分析は商品の売れ行き予測に使われます。情報を説明変数として、過去の各データを学習させることで関連性、法則性を見出します。これによってマイナー商品も高精度で予測でき、バイヤーなどによる誤発注もなくなるという優れものです。回帰分析に関してはこちらなどをご参照ください。www.albert2005.co.jp2.サポートベクターマシン(SVM)他にも教師あり学習の手法があります。データを分類する手法に強い、サポートベクターマシンという方法です。カテゴライズをする時に全体が少数で教師情報を全て与えることができるならば非常に高精度に分類してくれます。サポートベクターマシンについてはこちらが分かりやすいです。教師なし学習とは事前にサンプルデータが無い状態で実データ自体を解析する方法です。数値や言語の分類で使われます。レコメンドなどで推薦する商品の分類や、推薦対象となる顧客の分類をします。自然言語の意味を解析することから商品の評判情報の解析などにも使えます。k-平均法k-平均法とは代表的なデータクラスタリング手法の一つで、計算を反復的に行いつつ、k個の集団に分類します。アルゴリズムが単純なため広く使われている手法です。K-平均法は、一般には以下のような流れで実装される。対してランダムにクラスタを割り振る。計算は通常割り当てられたデータの各要素の算術平均が使用される。近い中心のクラスタに割り当て直す。クラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値を下回った場合に、収束したと判断して処理を終了する。再計算して上記の処理を繰り返す。qiita.com2.潜在意味インデックス(LSI)潜在意味インデックスは類似した文章や顧客、商品などを見つける手法です。ベクトル空間モデルという仕組みを使います。これは単語という軸をとり、それらの出現頻度などを行列で表し、空間の1点として文書を表現します。してデータの意味を捉えつつ分類します。d.hatena.ne.jp3.トピックモデル手法(LDA)潜在意味インデックス(LSI)の発展版でデータの値の持つ意味を推定し分類します。確率分布を使ってデータを分類することが特徴です。半教師あり学習とは少数のサンプルデータを用いてまずは学習を行い、その後ある程度の実データを分類してそのうち精度の高いものをサンプルデータと捉え直して再度教師あり学習を行っていく。これを繰り返すことで沢山ありすぎて教師情報を全部与えることが困難な場合でも教師あり学習の効果を期待できます。デジタルコンテンツ、スポーツ・・・と沢山ありすぎて全商品の教師情報を与えるのが難しい時に使います。1.ブートストラップ法ブートストラップと呼ばれる統計の手法があります。これは標本のデータから重複を許したサンプリング(普通は標本数と同じだけ)を行い、新たな標本を作製する、といった作業を何度も繰り返す手法です。この標本からのサンプリングという作業をリサンプリングと呼びます。して作られた複数の標本から計算される統計量(例えば平均、分散)のばらつき方は、母集団からサンプリングを何度も繰り返した時のばらつき方に近いという性質があります。複雑で難解な確率密度関数や中心極限定理を使うことなく、平均値や分散といった統計量がどのようにばらつく可能性を秘めているのかをあぶりだすことが可能なわけです。データのラベルを個々に推定せず、データをまとめて渡すことで個々のラベル推定を一緒に行うことです。一語一語何の品詞か推定するのでなく、文章丸ごと渡してその文章内の品詞の推定結果を一覧にする。これにより個々のラベル推定をデータが持っている構造に最適化した形で行うことができる。商品解説文全部から何の品詞かを推定し、構造を見ながらラベリングしていくことでカテゴリーデータベースを作っていくという時に使います。漢字変換などで多く研究がされています。https://research.preferred.jp/wp-content/uploads/2011/01/nlp2011-tkng.pdf2.CRF構造化SVMにおいてあるラベルに分類されるかどうかの確率値も算出し、高度な推定を行います。教師あり学習とは異なり、教師情報は存在しません。代わりに学習した後から報酬というフィードバック情報を得ることで、さらなる学習の手がかりとします。リアルタイムのデータは不確実性のある環境なので報酬はノイズや結果が出るタイミングにばらつきもあります。利用者の反応を取り込みつつシステムやサービスを最適化していく時などに使います。レコメンドや商品検索で顧客の反応を取り入れて結果を随時改善していくのに強化学習が使われます。広告のパーソナライズでも良く使われています。1.バンディットアルゴリズムバンディッドアルゴリズムとは限られたリソースの中で報酬(利用者の好反応)がどれぐらい得られるか過去に経験した過去の手段の「活用」と今後さらに得られるかもしれない未知の手段の「探索」という2種類の行動を使い分けて報酬を最大化する手法です。qiita.comqiita.comディープラーニング(深層学習)近年目覚ましい進歩を見せている手法です。http://www.image-net.org/challenges/LSVRC/2012/results.htmlにおいてディープラーニング(SuperVisionと表記)によって、2位以下と圧倒的な差をつけて優勝したことがあります。人の脳の構造を模倣するニューラルネットワークという手法を多層化し、高度化を図ったものです。多層化していることにより教師あり、教師なしの両方の機能を組み合わせてデータを様々な抽象度で学習できます。ECでもレコメンドや商品情報の解析、欠損情報の推定など広範囲に高度に活用ができ始めています。AutoEncoderと双璧を為すモデルの1種です。統計力学に端を欲し、1984年~1986年にモデルが考案されました。あるため、利便性の高いモデルとして知られています。森氏の寄稿を参考にしました。www.amazon.co.jp更に良いサイトあるよというご指摘があれば教えてください何かのご参考になれば幸いです。11:05ECを支える人工知能の分類と学び方一覧Tweet広告を非表示にする関連記事2016-09-13Facebookの公開した人工知能fastTextを試してみたみなさんこんにちは。最近はセキュリティコンテストCTFにはまっ...2015-11-28エンジニアが左うちわでホクホクする。v3」を使って外国人用のレス...皆さんこんにちは。CEO/銀座ミツバチプロジェクトの広報です。気が向いたらコンピュータいじります。SD15.IQ160。Entries最新記事2017-06-02【IoT】従来300万円かかっていたコインロッカービジネスを格安で出来る電子コインロッカーSPACER(スペースアール)を開発しました2016-09-13Facebookの公開した人工知能fastTextを試してみた2016-06-26マウスなんてもう古い!ジェスチャーでパソコン、iPhoneを動かすVR時代へ2016-03-05エンジニアが左うちわPart4。猫でもわかる金融の歴史2016-02-07エンジニアが左うちわPart3。ごとのボラ強度測定2016-01-22エンジニアが左うちわPart2。