XLNetのコストは、なかなかに考えさせられる話です。多くの学習時間を要するモデルは一部の企業にしか作れず、他はそれを事前学習済みモデルとして使うしかない、という状態になるのではと感じます。XLNetのコストは、なかなかに考えさせられる話です。多くの学習時間を要するモデルは一部の企業にしか作れず、他はそれを事前学習済みモデルとして使うしかない、という状態になるのではと感じます。Shapes~にもありますが、事前学習済みモデル内にバイアスがあった場合にあっという間に広まってしまう気がします。今週の日本語固有表現は、GSDのライセンス交渉、NC条項のないPUDでのモデル構築、双方に進展がありました。Decipherment~は、動機だけでなく手法面も興味深いです。根は同じだけれども分化した言語体系(高校生語など?)の推定にも使えるのではないかという気がします。Model-Based~は、近年注目を集めているモデルベースの手法を統一的な環境で評価した研究となっています。Uncertainty~は問題設定がとても綺麗で、機械学習における不確実性の問題に取り組むなら良い出発点ではないかと思います。Visualizationに関するガイドラインは、可視化に使うグラフ/色を選択する上で参考になりそうです。「説明可能AI」の記事は、研究面だけでなく社会面の動向についてもまとめられており、説明力の現状をうかがい知ることができます。Boxesは結構目から鱗の記事です。精度が出ないとモデルのチューニングにいきがちですが、こうした設定のみで精度をあげられることもありそうです。2019BERTを超えたと話題になったXLNetのコストについての話。daysと言及されている。1TPUは4chipsで構成されるので128TPUを2.5days=$61,440ほどになるとの試算(660万ほど)。Share中国で、AIを学習させるために必要なデータ作成作業(アノテーション)が農村部での雇用を生み出している、という記事。これは学習が完了すれば必要なくなるというリスクもはらんでいるとのこと。ShareFacebookが、DNNを利用した推薦アルゴリズムをオープンソースで公開。離散値はEmbeddingへ、連続値はNNでベクトルへ変換し、それらを内積/結合といった処理で合算して判定を行うという非常にシンプルなモデル(実装も、モデルは1ファイルしかない)。実行時の並列性も意識されているとのこと。形式をとっており、質問数は1万ほど。「なぜ人はゴシップ誌を読むのか?」=>「学習のため」「娯楽のため」「情報を得るため」・・・などといった質問が収録されている。ShareUD_Japanese-GSDのメンテナンスが、(多分)国立国語研究所へと引き継がれるよう。BY-SA(=“NC"を外す)よう交渉しているとのこと。期待して待とう!こちらとは別に、NC条項のないPUDで学習したモデルをspaCyに反映させるPRも進行中です。Exampleへの耐性を検証するライブラリCleverHansに、JAXの実装が追加。これで、サポートしているフレームワークはPyTorch、TensorFlow2.0、JAXの3種類となった。各フレームワークでのAttack/Defense/Tutorialが提供されている。Share点群を生成する手法についての研究。Flow(CNF)でモデル化している。点群推定にとっての事前分布となる形状分布の表現力を上げるために、Encoder(Q)を使い形状分布のCNFを学習している。ShareBERT内のAttentionのかかり方を調べた論文。全体的にはCLS/SEP、またピリオドといった区切り文字を見ていて、また全体のTokenに散っているよう。Parseのタスクでbaselineを上回る結果を出している。Share失われた言語の解読(翻訳)を行う研究。失われている故に大規模なコーパスは使えないので、同族言語とのアライメントを手がかりに翻訳を行なっている。具体的には、既知の同族言語における文字の並び/単語の出現確率で制約をかけて生成を行なっている。Share強化学習にとって有効な表現学習を行う試み。オブジェクトのキーポイントに注目し、キーポイント上の特徴変化のみを手掛かりに時刻tから時刻t'の画像を生成するよう学習する(時刻tのキーポイント上の特徴を時刻t'のキーポイント上の特徴で置き換えて生成を行う)。これによりサンプル/探索効率を改善。Share近年研究が多い、モデルベースの強化学習を比較検証した研究。総計10のアルゴリズムを、18の環境で実験しそのパフォーマンスを比較している。モデルベースの課題として、サンプル数に対するパフォーマンスの伸びが悪くなる点、モデルによる計画期間の調整が難しい点などをあげている。Shareネットワークの構造探索を効率的に行う手法の提案。範囲としてはセル構造の探索で、stride=1の標準セルとstride=2のダウンサイズするセルの2つを探索し、所与のネットワークに当てはめる。Share予測モデルにおける不確かさを、1.パラメーターの不確実性、2.データの不確実性(そもそも予測困難)、3.分布差異による不確実性(学習/テストの分布差異)の3つに分類し3に焦点を当てて解決を試みている研究。3を混合していたため、これを分布として切り離して推定している。Designガイドラインの、データ可視化に関するパートの文書。チャートの選択方法だけでなく、色の使い方についても解説されている。Share機械学習の判断根拠を理解する手法について、最近の研究がまとめられた記事。研究だけでなく、社会情勢についてもまとめられている。2.0で強化学習のアルゴリズムを実装したライブラリ。KerasのModelやlayersを使ってモダンに(TF2.0ライクに)書かれており、強化学習だけでなくTF2.0の書き方を見る上でも参考になる。Dreamあたりから示唆はされていたと思う)。これはモデルの問題というよりタスク(ImageNet)の問題という点も示されており、新しいデータセットの作成が必要そう。事前学習済みモデルを使うのはもはやスタンダードだけど、もし「事前学習」にバイアスがあったら?(それ世界中で使われとるけど?)と考えると結構インパクトが大きいと思う。Wildといった趣のデータセット。2113の科学論文のページに対し、様々な人が様々なデバイス(23種)で撮影した画像とテキストが収録されている。画像数19728、対応する行テキストが50万と大規模なデータセット。データセットを公開したのはチェコのブリュン工科大学で行っているPEROというプロジェクトで、歴史的な文献資料の文書化(テキストに起こして検索などをしやすくする)を行っているよう。Share物体検出における、デフォルトのアンカーボックスの重要性について書かれた記事。タスクに応じて(記事中では小さい顔)アンカーボックスの設定を修正することで、モデルの修正なしに認識率をあげられることを示している。Share自然言語処理を用いた、アンケートでの意見集約についての記事。単純にEmbeddingを使うことの注意点(「大きい」と「小さい」は、意味的には異なるが同じ文脈で出現するためベクトルの類似度は高くなる)と、その対策についても書かれていてよい。