よるGUIオートメーションで光学文字認識(OCR)で自動化してみたら上手く動いたので、システム構成とか工夫した点について簡単にまとめます。声は届いているので、これを読んで参考になれば幸いです。2019ちなみに、合計で340枚以上とるとゲーム側でエラーが発生してしまうので、わざと途中で終了するようにしています。本当ならもっと高いスコアを出せたはずなのですが...作成したシステムの構成技術は以下の通りです。Python使ってます。光学文字認識(表示されたローマ字を読み取るため)以下ではPyAutoGUIを知っている前提で、画像認識と光学文字認識について説明します。画像認識RPAでは画面上のウィンドウの位置がずれると正しく処理できなくなる問題が往々にして起こります。これは、クリックしたい場所の画像を渡すと画面上から探して、その中心座標を返してくれる関数です。画面上のどこにあってもスタートすることができます。いう関数があるので簡単にできます。指定して特定の範囲だけ撮るといいと思います。文字認識は入力する画像が大きくなるほど処理時間が長くなります。処理速度を高速化することができます。実際にはグレースケールにして2値化した画像の色を反転させるという画像処理をしています。わかりにくいですが2値化によって背景にある皿や湯呑みのイラストが消えていることが確認できます。これによって背景の余計な部分が消えて文字認識の精度が向上します。自動でタイピングすれば完成です。誤った文字認識でタイピングした結果、皿が取れないこともあります。再度画像認識することによってタイピングを続けることができます(もちろんミスタイプは増えますが)。繰り返し回数は340回として実行すれば以下の動画のようになります。いうゲームに化していますが、ずっと見ていても飽きませんね(本来なら5分ほどあります)。終わりに結局のところ、プログラムを書いた時間よりも、光学文字認識の精度を上げるために割いた時間の方が長くなりました。RPAでは、画像認識や光学文字認識の精度を上げれば、かなり夢のある仕事ができるとは思います。精度を考慮しなければ業務内容の高速化は簡単に成し遂げられます。RPAは日本でも本格的に導入する機運が高まりつつあり、ワークスタイル変革やテレワークに続く「働き方改革」という意味でも使われることが多くなっています1。RPAは構造化データの取得・入力・正誤チェックなどの入出力が定型的でルールが明確な業務での利用が主ですが、機械学習によって画像や音声のような非構造化データを学習し、RPAが得意な定型的なデータに加工することで、より広範囲な業務を自動化できるようになるでしょう2。RPAがどのような組織・業務に導入されていくかを引き続き注目していくと共に、これからの機械学習分野の発展に期待したいです。