NIPSで開催されていた、マルチエージェントの強化学習タスクであるPommermanで日本からの参加勢が首位をとりました。この成果は喜ばしいことです。NIPSで開催されていた、マルチエージェントの強化学習タスクであるPommermanで日本からの参加勢が首位をとりました。この成果は喜ばしいことです。2018年のニュースまとめは業界ごとにまとめられており、どんな分野でどんな技術が使われているか概観することができます。画像/異常検知がやはり多い印象。ICLRの採択通知が行われた方で、提出した側は悲喜こもごも、読む側はいずれにせよ大変です。Distillationは残念ながらRejectされてしまいました。Distillation以上の印象がある論文はまだ見つけてないですが、解析系の論文は興味深いです。context?~などです。差分プライバシーという言葉は初めて知ったのですが、TensorFlowでそれを実装したライブラリが登場しました。したセキュリティ周りが意識されるようになるのを見ると、応用が着実に進んでいることを感じます。Machinesはとても良いまとめになっていて、また読んでいて面白い記事になっています。ニュース記事からのトレンド抽出も、調査から実装、運用までが書かれた大作です。Convolutionの自然言語での上手い使い方を調査した記事になっています。テキスト分類編は今回が最終回です。今週はひたすら計算を流していました。それと、平成最後のクソアプリに滑り込んだ記事です。NewsNIPSで開催されていた、マルチエージェントの強化学習タスクであるPommermanで、日本勢が1位/3位を獲得。ボンバーマン発祥の地としてその存在感を示しました。ShareFacebookから、CNNベースの音声認識ツールが公開。公開されたC++ベースの機械学習ライブラリflashlightの上で動作している。Share機械学習の活用事例を、業界ごとにまとめた記事。各業界で、どんな活用をしているのかの参考になる。Shareシミュレーターを本物に近づけるのでなく、本物の画像を(Generatorで)シミュレーターに近づける形で強化学習を行った研究。Generatorの学習には本物の画像ではなくテクスチャーや色、光の具合などをランダムに変更した画像を使用。Netについて、その処理の意味と効果をきちんと測ろうという研究。GNNの各処理を、周辺ノードの集約(AGGREGATE)、集約結果の伝搬方法(COMBINE)、結果の出力方法(READOUT)などの形で抽象化している。識別性能の程度とそれが発揮できる/できないケースを検証している。Convolution)に関する研究の総まとめ資料。既存の手法の分類と解説、また適用領域(TextやImageなど)ごとの研究がまとめられている。研究をざっと知るにはよい資料。Netでコミュニティの検知(ノードの分類)を行った研究。接続によるノードの更新と、ノードによるエッジの更新(エッジ同士の接続は、後戻りなし=non-backtrackingとする)を交互に繰り返す形でノード特徴を作成していく(多分)。ShareELMoやCoVeといった文脈情報を含む分散表現を評価した研究。結果はELMoが強いが、何がその要因なのかについて、文法/局所特徴(CNN)など様々なベースラインと比較することで検証している。Share複数文書にまたがるQA(文書読解)を、スケーラブルに行う手法の提案。質問をベクトル化=>関連文書(パラグラフ)の検索=>質問と文書のマッチを行い、関連個所の抽出とクエリの更新を行う=>(検索に戻る)、という形で読解を行う。Share自然言語処理において、CNNのフィルタも学習させる試み(感覚的には、positive/negativeに反応するフィルタを作るなど)。手法自体はストレートで、フィルタの生成機構とフィルタを使った分類機を同時に学習させる。質問回答への応用も行っている。Share多言語対応の文表現を学習する試み。93言語をサポートしており、異なる言語圏、文字種も含まれている。全言語共通のBytePairの辞書を作り、Bi-directionalの翻訳モデルに入れるという構成。これにより各言語のzero-shotによる分類で高い精度を記録(ただ日本語は低い)。ShareDNN系の自然言語処理のモデルを評価する方法についての体系的なまとめ。モデルの解析による評価(Attentionなど)、モデルのパフォーマンスによる評価(評価セットに対するスコア)、敵対的サンプルによる評価といった3つの観点で研究が整理されている。Share強化学習において、環境における局所特徴の関係を捉えることで学習効率を上げる試み(敵と自機の位置関係などが捉えられることを期待している)。Attentionで関係をとっている。Share強化学習で、エキスパートの行動への近さで報酬を与える手法の提案。「エキスパートの行動への近さ」はGANの枠組みで判定しており、模倣学習のGAILと近い。GAILとの差分としては、戦略の学習にエキスパートの行動を使う点、軌跡ではなく状態で報酬を与える点、報酬の離散化の3点が挙げられている。全体的にGAILとの差分は弱いように思う。Share教師なし学習の学習過程を、メタラーニングで学習しようという研究。完全教師なしというよりはFew-Shotに近く、数件のラベル付きデータに対する誤差が、複数のバッチにまたがり最小化されるよう学習する。ShareTensorFlowで差分プライバシーを実現するための実装が公開。差分プライバシーとは、データにノイズを乗せることで個々のデータを復元できないようにする手法。解析には影響ないが、統計量から単体のデータを復元するには困難な程度のノイズを乗せる。Machinesに対して、Deepを適用する手法のまとめ。端的には普通にニューラルネットに入れれば交互作用を考慮してくれそうに思えるけれど、そうはいかないためいろいろな工夫が行われている。Share創薬に使用されている代表的なアルゴリズムを実装した、ベンチーマークとして使えるリポジトリ。Share欠損値の可視化を行ってくれるPythonのライブラリmissingnoの紹介。地図上に表示するgeoplotといった機能も搭載されている。Shareバースト検知の手法についての調査と、実際にサービスへ導入した過程がまとめられた記事。実装にはJubatusを使っており、パラメーター調整や前処理/後処理に関するTipsも載っている。Share人の写っている画像に対し視線をアノテーションしたGazeFollowに対して、人物がなんと言っているかを追加アノテーションしたデータセット。クラウドソーシングを使って発話内容を作成しており、発話についてはダブルチェック/人手チェックを行なっている。ShareExcelから読みだすツールはあるけれど、ExcelからPythonを呼び出す機能も持ったツールxlwingsの紹介。オフィシャルサポートまではこれを使おう。SharePart5はテキスト分類編最終回です。Convolutionの使い方を検証しました。Share年末のクソアプリとして投稿しました。