NLP機械学習前にデータ成形をしてみたツイートシェアはてなこの記事は「スパムFAXを画像解析+機械学習でブロックしてみた」の全6回のシリーズ記事の第4回です。はじめに前回の記事では【第3回】Fax画像でスパム分類したかった話を紹介しました。今回は機械学習モデルに突っ込むための前処理の話をしていきます。※色々な関係上モザイクを入れてますこんな感じです。字読めなくはないけど、文字起こしできるかは微妙。resizeは簡単で以下のコードでできます。※モザイクが取れてると普通に見えます文字起こし(OCR)pythonのライブラリでOCRがありました!!が、性能があまりにも良くないため不採用。Visionを使用しました。検証として論文の画像を入れてみたところ、、、、めっちゃいい精度でるやん。FAXの場合は単語さえ取れれば最悪大丈夫なので採用。result["responses"][0]["fullTextAnnotation"]["text"]文字解析さていよいよtextの状態になったので、解析に入ります。解析にはjanomeを使用しました。w_filter])ここで単語ごとに空白で繋げているのは、このあと機械学習モデルに入れやすくするためです。これで前処理は終わりになります。あとはモデルに入れるだけ!おわりに次回は【第5回】スパムFAXを機械学習でブロックしてみたを作っていきたいと思います。