embeddingの実装を試みていたのだけど、途中でnce_lossがなにやってるのかわかんなくなったので挫折して寝ました。夕飯を食べてお風呂に入ろうと思っていたらfから飲もうぜと誘いが来たので居酒屋でジンジャーエールを飲みました。途中でλも合流してなんか昔の話とかした。僕はお腹いっぱいだったので本当にジンジャーエールとウーロン茶を飲むだけだった。あとちょっと具合悪くなったりしたけど、これはたぶん緊張感によるものだと思う。難儀な身体になってしまったねえ。いうわけで今夜はもうなにもしません(してもいいんだけど生活リズムを護りたい)。明日こそはembeddingを書きたい。あとTensorFlowの機能をいろいろ調べたい。メタグラフの読み書きとか、あとGPUのメモリ使用率を制限すれば複数のタスクを並行できるのか?とか、あとプロファイラのこととかも。あとMovingAverageの実装がこれで正しいのかとかも気になっているし。全部は時間ないと思うけど。03:12:45https://ofni.necocen.info/23290910昨晩はうまく眠れなかったので、その分早く起きていろいろしました。ねむいのでもう寝ます。embeddingを書きました。これはでも、べつにanalogyとかがやりたいわけではないので特に評価はしていません。それからTensorFlowのトレース機能を試したのだけど、まあなんかカラフルじゃのうくらいで特段役に立つことはなさそう。それと、一つのGPUで複数の学習プロセスを動かす実験。普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなので、そこにリミッタを掛ける設定を追加してやれば普通にできました。二つ動かすと速度は半分よりちょっと速い程度まで落ちるので、特に効率化にはなりません。それでもCPUでやるより早いから恩恵はある場合もあるだろうけど。あと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある。Modelingを入れてみました。見に行くのは過去に自分が生成したところだけです。結果はまだわかりません。明日はビームサーチを書こうかなと思っている。あともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない。01:03:48https://ofni.necocen.info/23300911今日はビームサーチを書いたり、あと少し本を読みました。テストとか書くべきポイントだけどそういうのができそうな抽象化がとてもできなかったので諦めた。一応それらしく動いてはくれているので大丈夫でしょう。それなりにちゃんと学習させておくと、40文字くらいまでは復元できるように見えます。これは僕が書いた文章だから効率が良いというわけでもないらしく、ソースコードなんかもこのくらいなら復元できています。これはもっと学習すれば伸びるんだろうか。別にそんなのはどうでもよく、それより問題はこの内部表現をGaussianにインポーズできるかなのよね。あとsampled-softmaxで高速化できるならそうしたいと考えてはいるけど、いまの設計とバッティングするので悩んでる。文字種は4000以上あるから使った方がいいはず。明日は午前中にSkype会議。それから午後にちょっと会社を抜けて病院。23:45:03https://ofni.necocen.info/23310912びっくりするほど調子が悪い。早起きと体調の関連性なんてまやかしの見せかけの幻想でしかなかったことに気づかされる瞬間。あとiPhoneのバッテリーもばかになってしまって充電が30分くらいしかもたない。あと数日で御役御免だからって気を抜いているのか、それともささやかな抵抗なのか。仕事を途中で一旦抜けて病院へ。寝付きは良くなったけど夜中に目が覚めたりしますと言ったら薬がちょっと増えた。精神状態が良くないのは会社でも家でもうまくゆかない問題と格闘し続けているからだろうと思い、じゃあしばらく家では計算機巫女業やめます、ちょうどAWSのスポットインスタンスも止められてしまったし、と読書をしようとしたのだけど、気がつくとうつらうつらしてしまっており何の生産もしていない自分に苛立ちがつのる。体調が悪くないといい。00:00:54https://ofni.necocen.info/23320913具合は昨日よりはマシって程度。相変わらず目覚まし時計より早く目が覚める(「東京タワーより高く跳ぶ」みたいな文)。仕事の前に病院にゆく。心身の具合の悪さによって、この世界の楽しいものすべてから締め出されてしまったような気がする。世界は、前と同じように輝いている。僕はもう、そこにはいない。全か無かという思考からさまざまなものを引き剥がしてゆく格闘。23:08:47https://ofni.necocen.info/23330914僕は僕の頭を撫でてやるのがあまり上手くはないのだけど、これでどうにかしのいでゆくより他にないんだ。心身ともに調子がよくない。体調が急激に悪化することへの不安感が精神を苦しめているし、そうしてぴりぴりしてしまった精神が身体のあちこちに不調の徴候を誤認させる。いや、誤認じゃないのかもしれない......(こんな風に)完全に精神のバランスを崩してしまっていると感じる。立ち止まることはできないのだ。このままなんとかしてゆかねば......。そんなことできるんだろうか......。疲れた......今夜は気力があったらLSTMオートエンコーダのsoftmaxをsampled_softmaxにするコードを書きます。昨日途中まで書いたからたぶんもうちょっとでできるぜ。23:46:38https://ofni.necocen.info/23340915体調が悪くなるのは炭水化物の取り過ぎで血糖値が良くない感じになっているからという説があるらしく、まあだからといって何かできることがあるわけではないです。朝食はパンしかないし、野菜を食べる習慣もない。