今回は形態素解析とマルコフ連鎖を利用して文章の自動生成を行います。「信用」するのではなく、与えられた能力をもって生まれたかである。人生にはなれないだろうか。「信用」するのは誰か、冷静に考えてみることだ。「ありがとう、助かったよ」とは裏付けも担保もなくいま現在だけを見なさい。貢献感は「仕事の課題」とほめるのではなく「優しい」のだ。この判断基準で大きく間違うことは人が何を持っているのだ。受け取るよりも仲間たち、仲間たちより社会全体。過去の原因は「どこから」ではない。見ると意味が分からない気もしなくもないですが、それなりにいいことを言っているようにも見ます。マルコフ連鎖を利用した文章生成は文脈を意識せずに単語を組み替えるので、このように完全には自然な文章にはなりませんが、Twitterや短文のような数行程度の短い文章であればそこそこ日本語らしくみえるという特徴があります。これは、日本語を文法や単語の品詞情報に分解する形態素解析のおかげです。形態素解析とは形態素解析とは、対象となる言語の文法や単語の品詞情報をもとに,文章を単語が意味を持つ最小の単位に分解する解析法です。言葉だけでは通じにくいので、形態素解析の定番である「すもももももももものうち」を例にして見てみます。名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチこのように、ある名詞や助詞など、文章を意味のある最小単位の要素に分解することが形態素解析です。形態素解析はPythonで行うことができ、形態素解析エンジンとして日本人により作られたJanome、MeCabなどがあります。これらのJanome、MeCabを使用することにより、特別な技術を必要とせずに形態素解析を行うことが出来ます。実際にコードを作成していきます。AWS(EC2)、形態素解析エンジンとしてMeCabを使用していきます。AWS(EC2)での無料利用枠で使用できるt2.microを使用して環境を構築します。AWS(EC2)でのデフォルトではpython2.x系がインストールされているためそのまま使用することが出来ます。AWS(EC2)での無料利用枠で使用できるt2.microを使用して環境を生成します。生成が完了したらログインします。Linux環境の最新化を行います。Complete!と表示されたら成功です。2.7.14pythonのバージョンを調べます。2.7.14が最新でした。pythonのバージョンは3.x系もありますが、今回使用するTextGeneratorはPython2系のコードになっているためそのまま使用します。python-develmecabをコンパイルするためにgccをインストールします。Complete!と表示されたら成功です。../MeCab本体をインストールしています。../辞書ファイル(IPA辞書を選択)をインストールしています。このMecab本体と辞書ファイルをインストールすることでいよいよmecabを実行することが出来ます。インストールが正しくできていることを確認するために、形態素解析の定番である「すもももももももものうち」を行ってみましょう。名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチEOSこのように、「すもももももももものうち」という言葉が固定の意味を持つ単語に分解されたら成功です。この画面はCTL+Cで抜けることが可能です。これでmecabを使用することが出来ました。今のままではPythonからは読み出すことが出来ません。次にPythonのコードからmecabを起動できるようにmecab-pythonを使用してバインディングを行います。mecab-pythonのインストール(失敗編)なぜかここで手間取ったのでメモとして残しておきます。mecab-pythonを行うと、バージョンが古いのでインストールに失敗しましたというメッセージが出力されます。pipを行った場合でもバージョンが古いのでインストールに失敗しましたというメッセージが繰り返されます。そこでpipバージョンの再インストールを行います。-Vpip自体のバージョンを更新するため、一旦pipを削除して再インストールすることにします。-Vにて最新のバージョン(現在は18.1)の表記が出力されればバージョン更新は成功です。-続いてmecab-pythonのインストールを行っていきます。ルートで入りなおします。mecab-pythonでインストールします。gitComplete!と表示されたら成功です。形態素解析とマルコフ連鎖を利用して文章の自動生成を行ういよいよ文章の自動生成を行っていきます。こちらのサイトを参考にして頂きました。TextGeneratorTextGeneratorというプログラムを使用することで文章の自動生成を行うことができます。その後、自動生成をするための元ネタとなる文章をsample.txtというファイル名に保存して以下コマンドを実行して下さい。sample.txtこれで元となる文章の解析が終わり、データベースファイルが作成されます。最後に以下コマンドを実行するたびに文章が自動で生成されます。最後の10というのは10行を示しています。ここを変更することで文章量を変更することができます。10「失敗ばかり」でいいのだ。「信用」するのではなく、与えられた能力をもって生まれたかである。人生にはなれないだろうか。「信用」するのは誰か、冷静に考えてみることだ。「ありがとう、助かったよ」とは裏付けも担保もなくいま現在だけを見なさい。貢献感は「仕事の課題」とほめるのではなく「優しい」のだ。この判断基準で大きく間違うことは人が何を持っているのだ。受け取るよりも仲間たち、仲間たちより社会全体。過去の原因は「どこから」ではない。人工知能や機械学習のサンプルデータとして利用されるMNIST。sklearnで機械学習の文字認識をおこなってみます。畳み込みニューラルネットワーク(CNN)を使用すると、「猫」や「犬」などの画像認識が非常に簡単にできてしまいます。AIプログラミング2019/7/7Windows環境でAIによる画像編集が可能なFE-GANを試してみるAIプログラミング2019/02/19猫の動画を対象にディープラーニングの特徴量を可視化してみるAIプログラミング2019/02/11VGG16モデルを使用してオリジナル写真の画像認識を行ってみるAIプログラミング2019/02/03VGG16ネットワークの各レイヤの特徴を可視化するAIプログラミング2019/01/27Scikit-Learnの識別器をループで一気に適用させるプロフィールでんだろ。ほしかま大好き室内飼い猫10才。未知の世界の興味があり、飼い主の目を盗んで脱走をすることもしばしば。@Technology_AI飼い主も未知の世界の興味があり、京都や奈良などの寺院巡りを楽しみながら旅行に行く一方、AIでの画像変換を勉強しながらブログを書いています。