RC0がとうとう公開されました。RC0がとうとう公開されました。use"と述べられておりそれならさっさと・・・と思わなくもないです。マイクロソフトの麻雀AIは結構衝撃的なニュースです。麻雀は偶然性による左右も大きく戦略も上がり/下りなど様々でかなり難しいゲームと思います。詳細が不明ですが、出たらチェックしたいです。DependencyのデータUD_Japanese-GSDから、NC(商用禁止)条項が外れることになりました。関係者の方々のご尽力、感謝です。今週は結構重めな論文が多かったです。modern~は過学習のその先があるのではという研究です。理論的な説明は薄い印象ですが、形として提唱された意義は大きいと思います。Evolving~はRNNの勾配消失/爆発を根本的に解決する研究で、インパクトは大きいと思います。最近RNNの姿を見かけることが少なくなりましたが、これで復活があるかもしれません。Netの事前学習はとても興味深いです。知識の転移などがうまくいけば、応用の幅が広がるかもしれません。optimization~はとてもよくできた最適化の解説記事です。書き方をちょっと見習いたいです。Elasticsearch~は、待望のベクトルに基づく検索機能について書かれています。これを気にElasticsearch入門してみたいという方も少なくないのではと思います。ABテストの記事は、単純に手法だけでなく運用についても触れられています。いう結果がでたらどういう判断をするのか、という点は結構問題になると思うので参考になると思います。YANS2019で開催したアノテーションハッカソンのインフラについて記事を書きました。2.0のRC0がとうとう登場。これまで明らかだった通り、Keras/eagerがモデル構築の中心になる。Lite/JS/Hubでモデルの保存形式が統一されるよう。Suphxが、オンライン麻雀対戦プラットフォーム「天鳳」で初めて10段を獲得。いった機構が組み込まれているよう。SharefastTextのclassificationに、ハイパーパラメーターチューニングの機能が搭載。自分のデータにあったfastTextの分類機を簡単に作ることができるようになった。マルチGPUにより、巨大な言語モデルを学習したと発表(BERTの24倍、GPT-2の5.6倍)。少量のコード修正でこの学習に対応でき、実装も公開されている。Dependencyデーセット(UD_Japanese-GSD)の「商用禁止(NC)」条項が外れることに。これで今までグレーだった学習済みモデルの配布(spaCyにpretraine済みモデルを組み込むなど)が完全ホワイトに。なしの3点が揃った日本語データとなる。ShareDeepMindが、マルチプレイヤー/不完全情報ゲームが搭載された環境OpenSpielを公開。囲碁やチェス、またポーカーなどが実装されている。試験的にSwiftでの実装も公開されており、将来的にデバイスへの搭載を見据えているよう。Learningのサーベイ。Learningの重要な要素として学習データのサンプリング、ネットワーク構成、lossの3点を挙げており、特にサンプリングは(注目されがちな)他2つと同等に重要であるとしている。Shareセグメンテーションのタスクで、色やテクスチャーではなく形状に注目する機構を導入した研究。Streamを導入する。Shapeの学習を行うため、Boundaryに関するlossを組み込んでいる。Share過学習を超えた先に、汎化性能が逆に上がっていくエリアが存在するのではという研究。学習データへ完全にFitしていても汎化性能を持つという経験則を基に提唱されている。モデルが十分な複雑性(パラメーター数など)を持つ場合、学習データ間の補完(データ構造の理解?)を学習する領域に進むという。解は均衡点に収束する。均衡点では勾配の計算が可能であり、何度計算しても変わらない=勾配の爆発や消失が発生しない、とした研究。隠れ層の推定方式を変えることで、RNNの根本的な問題を解決している。ShareGNNの事前学習に関する研究。NodeレベルとGraphレベル双方の事前学習を行なっており、前者はSkipgram的に周辺ノードから周辺構造を予測/Maskingしたノードの予測、後者は事前にグラフ構造から予測を行うタスクを解かせている。併用で精度が上がるが、Graph単独だと下がる。Share予測に基づく因果推論の手法と、「予測」を行うための機械学習手法についてまとめられた記事。治療への割り当て確率を計算する傾向スコア(割り当て確率が等しい人をペアにする)、傾向スコアの逆数を使って比較対象を揃えるIPTWs、治療の平均効果を計算するG-computationなどが紹介されている。Lossを改善した研究。lossはexponentialな形であるため、外れ値に極端なペナルティがかかり決定境界も付近のノイズに引きずられてしまう。この影響を緩和するため、lossの急激な上昇を抑え(t1)確率の割り当てを緩やかにしている(t2)。Netの最適化に関する解説記事。数式の説明・理解を助けるインタラクティブなデモ・手早く引けるOptimizer選択のチートシート、と至れり尽くせりな内容になっている。7.3で可能になった、ベクトルベースの検索に関する記事(7.0からexperimentalで使用可能ではあった)。Encoder)を使ってインデックスを作成している。Share外部知識を使用したQAと対話研究のサーベイ。外部知識は、主に構造化されていないテキスト(Wikipediaなど)と構造化された知識グラフ(DBPediaなど)の2種類がある。QAはLinking、対話はMemory的に使う手法が多い印象。ShareFacebookが公開した、Transformerの計算を効率化する研究のまとめ。Attentionを掛けるスパンの動的変更、また全結合層を廃しAttentionレイヤに一本化する研究の2本が紹介されている。Faceが、BERTを蒸留したDistilBERTを公開。60%高速/軽量で、ELMoより概ね高性能+オリジナルの95%程度の性能があるとのこと。ShareYANS2019で使用した、アノテーションハッカソンの仕組みについて解説した記事です。