29このサイトについて本サイトは舞台に立てるロボットを目指して、私が取り組んでいるプロセスを、主として記憶のために書き連ねているものです。インストールするニューラルネットワーク処理ユニット(NPU)を持つシングルボードコンピュータを、スイッチサイエンス社から39,744円で購入した。アマゾンに出ている商品と同じものだが、ここが一番安かった。NPUというものは、どれほどのものだろうということである。UPUをのぞいでも、このコンピュータのスペックはとてもいい。NPUをどうやって動かすのか、というか、プログラミングに組み込むのかということはわかっていないが、さしあたり、試しに、Ubuntu、LemakerのUbuntuという意味で、Lebuntuというらしい、を組み込んでみた。最終的には上記のようにlebuntuがスタートする。最大の弱点は、日本語環境が出てこないことだ。インストールの仕方をメモがわりに記載する。(2)このサイトから、lebuntuのimgファイル類をダウンロードする。(3)rarファイルを解凍する。(ubuntuの場合、unrarが必要だった)(4)その中に、lebuntu-rfs_flashing_guide.txtというドキュメントがあるので、そこに書いてある通りのことを実行すれば、インストールできる。ONLYの二回実行する。(2)Hikey970のUSB-CとLinuxのUSB端子をつなぐ。(3)MACのVirtualBoxに入れたLinuxでやったら失敗した。USBのつながりがダメなようだ。Linuxマシンを用意する。私の場合は、Intelのスティックコンピュータに入れたUbuntuにつないで実行した。要は、先のマニュアル通りのことができればOKなのだ。18.04をインストールしようと思う。Tensorflowというのがあるので、そちらのimgを焼くことで実現するのだと思う。先のいくつかの記事で示しているように、ロボットが知識的文章を短く語る時に、削除した語を繋ぐ助詞をAI的に選択させようとしている。(体言1:名詞・動詞)+(助詞1:助詞・助動詞)+(体言2:名詞・動詞)+(助詞2:助詞・助動詞)の語の並びの中で、体言1、体言2、助詞2が与えられた時に適切な、助詞1を選択させたい。これができれば、うまく、文章を短くできるだろうということである。そこで、この並びを、日本語wikipediaの前文から拾い出して、それを元に、ディープラーニング用の学習データを作ろうということである。4語対は、6千万個取れて、語は、word2vecのウェイトベクトルであらわすのだが、そのベクトルを取れる語は、さらに半分以下になってしまう。パーターンがとてつもなく大きくなってしまう。「の」とか「を」などはたくさんあるが、全体で1回しか現れないようなものも拾ってしまう。これは、広い方のアルゴリズムにも依存するのだが。そこで、いったいどのような助詞、助動詞が、どのような頻度で現れているのかを調べてみた。助詞2(ニューラルネットの入力になる)は次のようになっている。12292明らかに、代表的助詞型を圧倒している。全部を対象にすることはない。だいたい、上位128個くらいの使い方がわかればそれでいいのではないかと思う。入力に関しては次のようになっている。7309上位グループの順序は微妙に変わっている。助詞の位置が影響しているのだ。上位グループのメンバーはあまり変わらない。AIの改訂(2)学習データ作成時に、日本語wikipediaからのデータの体現部分はword2vecでウェイト化する。それを、これまで、mariadbに載せたウェイトにアクセスする形にしていたが、そうすると、アクセスのための時間がかかって、マルチスレッドでやっている意味がないほどに、時間がかかった。6000万を超える4対語である。プログラムを45スレッド、CPUは24スレッドで処理したのだが、数スレッドしか実際に稼働しなかった。そこで、元々のword2vecのバイナリファイルから、ウェイトを冒頭に全て読み込んで、データベースへのアクセスを不要にしたら、一挙に処理速度があがった。数十倍早くなったと思う。当初は、十数時間かかりそうだったのに。人工知能ディープラーニングのプログラムを組み直す(1)昨年作ったディープラーニングのデータを組み直している。プログラムは複雑である。ネットワークは、レイヤーとニューロンという構造を持っているし、バックプロパゲーションを組み込まないといけないし、さらに、私の場合はオートエンコーダ(自己符号化器)というディープラーニングの手法を組み込んでいる。前回作ったプログラムは、https://github.com/toyowa/jautoencoderにおいてある。プログラムの構造が、ネットワークの構造にうまく対応していない。オブジェクト指向が徹底されていないと行ってもいい。問題はわかっても、直すのは手間がかかる。1年前の自分の頭に戻すのが大変なのだ。