Codersコースがオープン。Codersコースがオープン。Courseraのコースは鉄板ですが、実装部分はOctaveなので勉強してすぐに動かしたいぜ!という方はこちらのコースから始めてもよいかもしれません。学習時間も、総計24時間と短めです。Semi-Supervised~は少ないラベルありデータからでも学習する方法として、なかなかよさそうな印象を受けます。最近はQAのデータセットがたくさん出ていますが、HotpotQAはその中でも既存のQAモデルの問題にきちんと向き合っているような印象を受けます。Magenta.jsが、とうとう生音源に対応しました。単音のピアノからのMIDI作成ですが、MIDIファイルを用意しなくてよくなるアドバンテージは大きいと思います。活用のためのスライドもあるため、音楽X機械学習に興味がある方はこれを機に触ってみるのも良いと思います。~は、NLPのタスクを最近のTensorFlowの機能で実装するなら見ておきたい記事です。Sharefast.aiが開発者のための機械学習講座を解説。first"を標ぼうしており、実装しながら学びたいという人にはCourseraより向いているかもしれない。全12レッスンで、各動画は2時間程度。1.1でとうとう人間のF1スコアを上回る。論文はまだ出てないよう。Share半教師あり学習で、教師なしのデータからも有効な学習を行う方法の提案。ラベルありについては普通に学習するが、ラベルなしの場合はデータの一部を欠損させた状態で欠損のない場合と同じ確率分布が予測できるかを学習する。これにより教師なしラベルからもEncode精度を上げるための学習を行う。Share複数文書にまたがった情報抽出(multi-hop)が求められるQAのデータセット。multi-hopなデータセットは既存のものがあるが、大きな差異として回答根拠になる文についてアノテーションが行われている。Convolutionを適用した研究。ノードとして文書・単語双方をとっており、文書=>単語の重みはTF-IDF、単語=>単語の重みはコーパス全体の共起(PMI)をとっている。単語分散表現なしにCNNやLSTMのモデルを上回る効果を出せている。Share文章から上位概念を抽出する(「笛」は「楽器」など)方法について、パターンマッチと統計的手法(分布ベースの手法)の比較を行った研究。結果としては、パターンの方が優秀で、パターンで検知されたものと似ている(=共起する)ものも評価することでさらに改善できるとのこと。されていた共変量シフトの解消はあまり効果がなく、それ以外の効果で精度の改善が行えているとしている。具体的には、BNなしでは層が深くなるにつれてチャンネルの分散が大きくなり、勾配が入力に非依存になってくる。BNはこの問題を解決し、結果として大きな学習率の設定が可能になり、正則化/精度が向上する。ShareDNNの汎化性能を向上させるための、適切なノイズについての研究。minimumの方がシンプルな決定境界を持つことも論文中で示されている)、flatに誘導するためのノイズとしてPAC-Bayesで上限を設定している。ShareMagenta.jsに、ピアノの音声をMIDIに変換するモデルの搭載が完了。これでMIDIファイルを使わなくても、生の音源から音楽生成などを行うことが可能になった。ShareMagenta.jsを使って音楽に機械学習を適用する事例を紹介したスライド。発表資料がかなり凝っていて、特にMagenta.jsの紹介はかっこよいだけでなく分かりやすい。Share機械学習で、データの秘匿性を保ったまま計算を行うライブラリPySyftの紹介。具体的なシチュエーションとしては、各ユーザーのモバイル端末上のデータを統合して学習したいけれど、端末上のデータ自体は秘匿したいというような状況。PyTorchで使えるよう。ShareVAE、また様々な/GANといった生成系モデルの解説実装を提供しているリポジトリ。コードがとても整理されていて、コードを読みながら学べる形。Network系の論文解説スライドがまとめらたリポジトリ。NetをAdversarialな手法で学習させる手法のまとめ。Convolutionの基本的な更新方法についても解説してくれている。ShareNLPで使える、最近のTensorFlow機能の紹介。よるデータ読み込み、tf.estimatorによるモデル作成まで紹介されている。ShareKaggleのNLP関連コンペティションで使う手法を網羅的に解説したKernel。チートシートとしてとてもよい。それぞれの蒸留について起源的な論文を基に解説を行ってくれている。Share医療データに対する機械学習の適用についてまとめた記事。医療への適用を考える際には、まず見ておくとよい。Sharescikit-learnの決定木を可視化してくれるライブラリについての記事。単純にキレイにしただけでなく、可視化に何が必要なのか、既存の可視化手法との比較などを行いながら、最終的なデザインに至るまでの過程を書いている。https://github.com/parrt/animlSeries今週の連載は、実装に入るため一週間間が空きます。