29このサイトについて本サイトは舞台に立てるロボットを目指して、私が取り組んでいるプロセスを、主として記憶のために書き連ねているものです。RSSWordPress.org日本語Wikipediaデータをword2vecで類語検索する去年、これをやっていたのだが、色々あって他のことに関心が向かったために、使いきれずにおいていたが、もう一度やっておく。類語を抽出できるようになるまでのプロセスをメモがわりに書いておく。前半は、http://ankaji92.hatenablog.com/entry/2016/11/27/212507を参考にさせていただいた。適当なフォルダを決めて、wikiの全文を取ってくる。jawiki-latest-pages-articles.xml.bz2これを使えるように変換してまとめる。jawiki-latest-pages-articles.xml.bz2一カテゴリずつやっていくが、辛抱強く待つ。一つのファイルにまとめる。jawiki.txt分かち書きアプリのインストール。data.txt前は、ここでrubyを使う方法を用いた記憶があるが、使わなくていいので、ここまでは、先の引用元にあるこの方法がいいと思う。次に、word2vecのインストールである。これについては、以下のサイトにある後半部分がc言語でやるとき便利だった。word2vec$makemacの場合、malloc.hが無いと、叱られるので、compute-accuracy.cdistance.cword-analogy.cについて、sodlib.hに変更する。1data.txtは、先ほど作成したパスを指定し、word2vecも作成したパスを指定して実行する。オプションについては、適宜、webを参考にする。./distanceを、今作成したjawiki_wakati.binを指定して起動する。単語を入力すると、類語のリストを出してくる。以下まだつづく・・・・・・このdistanceのjava版を作らなければならない。