Uberから因果推論のライブラリが公開されました。これでA/Bテストの分析なども楽になるかもしれません。ScaleAIは、アノテーションをオンタイムで行ってくれるサービスです。GlasgowNews:Uberから因果推論のライブラリが公開されました。これでA/Bテストの分析なども楽になるかもしれません。ScaleAIは、アノテーションをオンタイムで行ってくれるサービスです。機械学習モデルとアノテーションツールを組み合わせて、最小限の労力で人のチェックが入ったデータを提供しているようです。OpenAIの研究で使われていて知りました。Articles:自然言語処理では、BERT解析系と判断根拠特定系の論文が多かったです。精度が比較的容易に出せるようになると、こうした論文が多くなるのは必然なのかなという気がします。実際応用するにあたってはモデルの解析・判断根拠の特定はメンテナンスに有用な情報になるため、実応用に近づいている証拠と言えるかもしれません。Progress~は、いずれも現在提案されている手法について疑義を投げかける論文です。研究が発表される量とアルゴリズムの進化は果たして比例しているのか?を考えさせられる研究です。produce~は、Articlesにつづきリーダーボード上の精度向上を目指す傾向に疑問を呈する記事です。Exampleのまとめ記事はどちらもとてもよくまとまっています。画像と自然言語処理を合わせて動向を知ることができます。音声がないですが、音声のAdversarialも研究があります。スマートスピーカーが普及する昨今では見逃せない研究です。Scientistsは、データサイエンティストの迎え方とマネジメントの仕方がまとめられたかなりニッチな本です。機械学習エンジニアにも適用できるノウハウがあるかも?sしれません。Series:現在作成している、ESG評価を支える自然言語処理基盤についてお話してきました。早く自然言語処理のステージに行きたいものです。ShareUberが因果推論による介入効果推定を手軽に試せるパッケージを公開。介入したケース/していないケース(A/Bテストなど)双方で予測モデルを作成し、その差から効果を推定するupliftモデルなどが搭載されている。Shareオンラインでアノテーション結果を返してくれるサービス。API経由でアノテーションが依頼できて、結果が帰ってくるイメージ。裏側では機械学習モデル+アノテーションツールを使っており、(単純な推論でなく)人のチェックが入った結果を返してくれる。内容的にはグラフ構造+時系列のデータに対するAttackとなっており、微細なノード特徴/接続変更(Edgeを落とす/つなぐなど)を行うことで認識クラスを誤らせることを目的としている。8割以上精度を落とせるという結果。ShareBERTの中に関係知識が蓄積されていることを実験で確認した研究。b)は高い精度で推論できた一方、1:多・多:多の推論精度は低かったという結果。63.5%となかなかの精度。ShareTransformerにおいて、入力から出力の過程で単語表現がどう変化していくかを調べた研究。言語モデル/翻訳/BERT的学習(Masked)の3種で調査。Shareテキスト分類モデルの挙動を診断するために、転移学習を使う手法の提案。Encoder(学習するテキストは分類対象とは別)を、事前学習済み分類機にくっつけてDecoderのみ学習させる(Encoder/分類機の重みは固定)。対象としており、Judgeモデルを回答できるよう学習させる一方、その回答を(他の回答に)誘導する根拠を抽出できるようAgentを学習させる。抽出した根拠は、人間が見ても回答を支持すると思えるものであることを確認。Share隠れる側/見つける側に分かれて戦うゲームを通じ、相互の戦略を洗練できたとする研究。戦略のパラメーターはエージェント間共通だが行動時は個別に行動する。視認可能な範囲に応じてマスクを掛けた上でAttention+LSTMで行動推定を行うネットワークをPPOで学習する(価値関数はマスク無し)。この研究の背景には、メタ戦略を学ばせるために色んな環境を作り続けるのつらくない?相互学習はその代替になるのではという研究がある。相手の戦略が変わることで最適化対象が変わる=Autoにカリキュラムが生成される(Autocurricula)というアイデア。Shareメタラーニングの手法MAMLを改良したiMAMLの提案。3.出力という流れのため誤差伝搬のフローが長く勾配消失が起る。そこで1=2という正則化制約を入れ2から1を学習できるよう改善。こちらの解説記事がわかりやすい。Tuningする研究。GPT-2をベースに使い、Contextとお題(Positiveに、要約を生成、など)を与えて生成を行わせる。生成文に対する人の嗜好で強化学習を行う。AIというサービスを使用しオンラインで取得している。Share時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。著者はM-Competitionsの提案者で、このコンペティションのデータは論文中でも使用されている。第一回のコンペティションでもシンプルなモデルの方が優良という解析結果が出ており、(機械学習普及後の)現在の状況は当時の状況と同じになっていると指摘している。当時とは1980年代。ShareTop-Nの推薦を行う深層学習系の手法について、シンプル/古典的な手法(素直にレーティング順に推薦するTopPopular、Item/Userを対象にKNNを行う手法など)と比較を行った研究。実装が再現できるかで足切りした7つの手法をベースと比較しているが、結果はほぼ負けている状態。詳しい解説記事はこちら。Exampleの発見から現在までの経緯と今後の展望がまとめられた記事。攻撃/防衛側の果てなき戦いは現在も続いている。資料は画像がメインだが、自然言語・音声でも研究が行われている。Example自体についての解説も掲載されています)。単語の置き換えなどがメインで、まだまだ議論+発展の余地がある分野と思う。Shareモデルサイズの大小で、精度改善手法の効果が異なるのかを検証した記事。ResNet164/ResNet29で比較を行なっており、精度向上の有無/幅がほぼ同じことを確認。ResNet29だと164に比べ1/5程度の学習時間で済むため、多くの実験が可能になる。サービスというにはちょっと大きいが、フロント/バックエンドの構成などを結構丁寧に書いてくれている。個人でできることが増えた分、会社の規模はどんどん小さくなっていく、という文言は考えさせられる。Processについての解説記事。数式のどこが何を意味しているのかという細かい解説があってありがたい。ShareYANS2019で行われたアノテーションハッカソン優勝者の記事。アノテーションをいかに自動化するか、その際の注意点とは、という実践的なテクニックが満載。ShareNLP/CV最先端勉強会(第三回)の資料集。今回は系列ラベリングに関して最近の動向、少数ラベル、転移学習などのトピックがまとめられている。Shareコンペティションで勝ったモデルが、実地において本当に優秀なモデルといえるのかを検証した記事。少ないテストデータでは、たまたまうまく適合したモデルが勝つ可能性がある。ALLで確認していくなら、テストセットのサイズは多くの場合少なすぎるとしている。Shareデータサイエンティストをどうチームに迎え入れてマネジメントするのかが書かれた書籍。データサイエンティストへのアンケートでは前職の在籍期間が1~2年と短いことが多く、継続的に価値を出し続けてもらうことが難しいことを物語っているという。採用の方法まで書いてある。Share推薦システムを作成する過程を、医療論文検索システムを題材に解説した記事。Share現在開発している、ESG評価を支える自然言語処理基盤についてお話ししました。AWSベースで構築しているインフラの構成などを紹介しています。