ml5.jsは、TensorFlow.jsをベースにより機械学習機能を簡単に取り入れられるようにしたライブラリになっています。ml5.jsは、TensorFlow.jsをベースにより機械学習機能を簡単に取り入れられるようにしたライブラリになっています。こちらを使えば、Webカメラで手の動きに合わせてPongのゲームをするといったこともできそうです。Learningは一本の論文を丁寧に読んでいくような形で、前提知識や参考文献について細かい解説がしっかりと行われています。Not~は、機械学習が実際にシステムに入ってきたときにどう扱うべきかについて示唆を与えてくれる研究です。biases~はグラフニューラルネット時代の到来を予感させる研究になっています。数年後振り返ったときに、この論文が転換点だったと振り返られる可能性もあると思います。そのグラフニューラルネットの第一人者の手による解説記事があるので、とてもお勧めです。ジョージア工科大学の教科書はとても幅広いテーマを扱っています。疑似コードを中心に解説が行われているため、仕組みの理解が怪しい所を読んでみるといいかもしれません。ShareTensorFlow.jsをラップし、より簡単な形で使えるようにしたml5.jsが登場。その名前の通りクリエイター向けのJSライブラリであるp5.jsを模して造られており、機械学習に詳しくない人でも簡単に扱えるよう考慮されている。ShareACL2018と同時に行われる、自然言語処理に関連するオープンソースのワークショップ。CoreNLPのManning先生やspaCy開発者のMatthew&Inesさん、そしてscikit-learnのJoelさんというとても豪華なメンツ。Share人工知能学会でのチュートリアル資料。DNN以降の自然言語処理の基礎が入力データ(単語等)の「ベクトル化」であるとして、ではベクトル化の手法としてどんなものがあるのか、といった形で解説がされている。学習データが少ない時や前処理の必要性などにも触れられている。MLについての解説記事。ここまでできると、ユーザーの手元で認識モデルを作れるようにもなるかもしれない。Share一本の論文から、その論文の理解に必要な様々なキーワードや引用文献についてリンクを張りながら解説を行っている記事。ShareDNNの認識モデルを使い論理演算を行うことを試みた研究。digit(4⃣)と言う風に書けるようにする(digitが数字画像認識モデル)。モデルも含め式と演算結果から学習する(勾配を確率に沿い伝搬する)。Share機械学習で、予測結果をどれぐらい信じるべきかについて新しい信頼度のスコアを作成したという研究。イメージ的にはモデルの予測結果とKNNの分類結果を比較するような形で、予測結果がデータから見てかけ離れたクラスを予測していないかをチェックする。ShareCIFAR-10を使って「良いモデル」を選択しているうちに、CIFAR-10のテストセット(上の精度)に過適合したモデルが生まれてきてしまっているのではないかという提言。CIFAR-10のデータに近い新しいテストセットを作って検証したところ、4%~10%ほどの精度低下がみられたという(ResNet/VGGで8%近く落ちる)。Share今後より人間に近しいタスクを行っていくには、推論方法をより一般化したものにしていく必要があるという提言。CNNは局所的な情報から、RNNは系列的な情報からしか推論できないため、グラフ型が適しているとしている。そこでグラフネットワークを新しい構造単位として使うための定義を行っている。Shareグラフニューラルネット(GNN)でVAEを行ったという研究。ノードをたどるパスを入力とし、GNNで畳み込み、潜在表現の分布からサンプルした結果+前回のパスからNステップのパスをGNNで予測する。これにより教師なしで物理的な動き(関節のモーションなど)の予測と表現の獲得を行っている。Shareメモリネットワークを改良し、LSTMに組み込んだ研究。メモリは行列で表現され、入力を含めた各行に対しクエリ(Q)とキー(K)・値(V)を算出し、クエリとキーの近さで重み(=Attention)を計算し値に乗じて更新を行う(softmax(QK^T)V)。言語モデルなどの教師ありと、強化学習で効果を確認。Share逆強化学習では、少ないサンプルから報酬を推定しないといけない点がネックになっている。そこで様々なタスクから「報酬の推定の仕方」を学んでおき、学習速度を上げるというメタラーニングと組み合わせた手法の提案。該当タスク学習のための勾配(Inner)を、メタ側(Outer)から提供する形で更新する。Share強化学習のモデルベースの手法で、ピクセルベースで状態を学習するのはきついため物体検知と組み合わせて、物体の遷移を予測する形でモデルを構築するアプローチ。物体検知=>遷移モデルの選択=>ツリー探索を行い(モデル内で)最大報酬の行動選択をとる、という形で学習を行う。Share強化学習でたった6~18ノードでAtariを攻略した研究。辞書のような構造で状態を離散表現に変換し、数ニューロンの素のRNNで行動を選択する。学習は進化戦略で行う。辞書は新規の状態が既存の辞書の値と大きく異なる場合追加されるようになっており、そのためRNNへの入力サイズも学習中に変動する。Share回答範囲をスパンで選択するタイプの質問応答タスクについて、一般的な転移学習の手法でSOTAを8%更新できたという話。ベースとしているのは実装が公開されているBiDAFで、SQuADで事前学習を行なっている。Share単語の分散表現を作成する際に、意味的なもの(What)と言い方的なもの(How)を分けて学習する試み。意味的なものは近傍単語、言い方は(近傍より)全体的に含まれるとの仮説から周辺「以外」から学習する方法と、周辺から意味・周辺より遠くから言い方を学習する手法を提案(学習はCBOWと同じ枠組み)。Shareテキスト分類を行う際に、単語のone-hotではなく埋め込み表現に摂動を挿入し正則化効果を得る手法。加える摂動は分類を邪魔できたかと、元のデータとどれだけ離せたかの2種で検証(前者は教師ラベルが必要だが、後者は不要になる)。教師なしの後者でも十分な効果があることを確認。ShareAmazonのAlexaが、どうやってユーザーの発話から数多のスキルを特定(分類)しているのかという話。単語/文字ベースの分散表現をそれぞれBi-directionalでエンコードし、それをユーザーごとにカスタマイズされたスキル表現と掛け合わせて判定しているらしい。Kipf先生の講義資料。DNNでグラフを扱う際の基本的な考え方から最近の研究動向までが網羅されている。Shareジョージア工科大学の自然言語処理の授業で使われる教科書。扱っているテーマは、完全版と思えるほど幅広い。図は少なめだが、シンプルな疑似コード的な記述が随所にあり分かりやすく解説されている。Share質問回答システムをゼロから作るチュートリアル。あるSeq2Seqで~ではなく、文ベクトルの距離が近いものを出す、というオーソドックス(だが重要)なところから解説している(ベクトル算出にはFacebookのInferSentを使用している)。Shareユーザーがクリックした記事に関連する記事を提案する基盤を、どのように構築したのかという発表。行っていること自体はベクトルの距離に基づく提案というシンプルなものだが、それを大規模なユーザーに対しスケールできるようAWS/Goを使い上手く構築している。