見抜けないか試してみました。機械学習について勉強する中で、何か実践的なデータでやってみたいと思って試してみたら、まぁまぁ上手くいってそうなのでやった事と作ったモデルをこの記事に残しておきます。理解していて機械学習にちょっと興味がある人向けに書いています。この記事の全体はこんな流れなので興味がある方は是非どうぞ。まとめスポンサーリンク機械学習に必要なものまずはじめは機械学習に必要な環境、データについて簡単に説明します。上に機械学習の環境を構築します。インストールしておきます。番を開けるか、リバースプロキシ何かを使うと良いと思います。収集して前処理というものを行っておきます。人間が偽レビューを見分ける方法はいくつかありますが、その中でも機械学習に使いやすいように数値化できる特徴を絞りそのデータを集めます。して正解ラベルを付けていきます。商品で本物と偽レビューの割合は半々くらいです。ファイルに保存しました。sale_period,marchant_flag,review_count,rating_total,product_price,price_saving,rating_5,rating_4,rating_3,rating_2,rating_1,train"144","0","84","4.7","2980","1","87","8","5","0","0","1""158","0","283","4.3","3699","1","72","11","3","4","10","0""40","0","455","4.0","4999","1","51","28","8","4","9","1"データを集めてラベル付けをする作業が一番大変ですが、集めてしまえばあとは簡単なので頑張ります。データ総数はもっと用意した方がいいとは思います。(大変なので今回は途中で諦めた...)Amazonの偽レビューを学習させるデータが集まったら次は機械学習です。使いコードを入力して確認しながら進めていきます。読み込み、訓練データとテストデータに分割します。666)次はランダムフォレストで機械学習をし完成したモデルの性能評価を行います。テストデータでの正解率を表します。うまくいったのではないでしょうか。特徴の重要度を可視化する数値だけではあれですので、偽レビューは何の特徴が決め手になっているのかを可視化してみます。features[indices])plt.show()販売期間が最も重要な特徴量らしく、次に星4の数。星5の数と販売価格がまずまず重要なようです。偽レビューを集めてまで売ろうとする商品はチープな物が多いせいか、ボロが出る前に売り抜けようとするみたいです。数ヶ月前に買った中国製品の履歴を見たらもう無いとか結構あります。偽レビューは星5でばっかり集めるのでどうしても星のヒストグラムの形が不自然になります。名だたる企業の製品で売れ筋の商品とかと比べると一目瞭然です。あとは、偽レビューは主に購入後の全額返金という形で集めてるので、お手頃価格な商品じゃないとレビューが集まりにくいようです。商品の価格帯も重要みたいです。これらの事情を考えるとこのモデルが重要視している特徴は納得がいきます。良いモデルが出来たと思うので保存して再利用できるようにしておきます。保存する時はこのように。'amazon.pkl')使う時はこのように読み込みます。clf.predict([data])print(pred)今回作成したモデルは下記よりダウンロードできます。書いたスクリプトがこれになります。操ってあげればいいんじゃないかなとは思ってます。