IEEEがarXivに次いで論文のプレプリントサービスを公開しました。1プラットフォームへの依存はあまり健全とは言えないので、これは良い流れだと思います。GlasgowNews:IEEEがarXivに次いで論文のプレプリントサービスを公開しました。1プラットフォームへの依存はあまり健全とは言えないので、これは良い流れだと思います。servicesは、イギリスの金融サービスでどのように機械学習が使われているのかを調べた資料です。Googleが銀行口座サービスを開始するという報道がありましたが、銀行をはじめとする基幹金融サービスにまで機械学習活用の流れが進んでいくかもしれません。くずし文字、同義語辞書など日本でもリソースの公開が進んできたのは喜ばしいことです。Articles:疑似ラベルを使用した学習は、最近トレンドになっているなと感じます(こちらなど)。ベンチマークとして、ラベルなしを含んだデータセットも公開されていったりするかもしれません。RadialGANも、データを増やすという点では似ていると思います。自然言語では、多言語の分散表現(LASER)がトレンドの一つと感じます。Emuはシンプルながら精度向上の幅も大きく(一部上がっていないところもありますが)、興味深い手法と思います。Distillationもで、蒸留する機会があれば試してみたいです(スコアがかなり上がっている)。Learningは、個人的にはとても面白いなと感じています。機械学習モデルのパーソナライズがどんな価値をもたらすかイメージできないところはありますが(モーション認識とかはいいかも?)、問題設定として夢がある感じです。Batchの記事は、機械学習にまつわる怪談がまとめられた資料です。笑ってしまうようなものも中にはありますが、バイアスなどちゃんと意識しないといけないなと感じる問題もあります(コメントがすごい勉強になる・・・)。Docker入門の記事はとてもわかりやすいのでお勧めです!Series:今年前半にかけて作っていたデータセットを公開しました!自然言語処理で企業分析を行うためのデータセットです。使っていただければと。ShareIEEEが、論文のプレプリントサービスを開始。arXivに続くオープンな公開プラットフォームとなるか。Shareイギリスの金融機関における機械学習の活用についてのサーベイ結果。2/3が機械学習導入済みで、破産予測やアンチマネーロンダリング、またチャットボットやマーケティング支援などに使われているとのこと。導入形態としては既存モデルの導入が多く、カスタム性は少ないよう。NASDAQも、以上取引の検知のために機械学習の導入をテスト中とのこと。Shareくずし文字のデータセットが、サイズを増量して公開。増量するだけでなく、画像のクリーニングや新字/旧字の統合なども行われている。Shareワークス徳島人工知能NLP研究所がら、日本語の同義語辞書が公開。組織名やランドマークなどを辞書ベースでまとめることができる。TPUに最適化したMobileNetEdgeTPUが公開。MobileNetV3はAutoMLで作成されたモデルになる。ShareNVIDIAが、3Dデータを対象にした深層学習を行うためのライブラリを公開。PyTorchベースで、データの読み込みから3D画像の分類/2D-3D変換などが簡単に行えるようになっている。事前学習済みモデルも提供されている。ColaboratoryでP100のGPUが使えるように。Share学習したモデルで疑似ラベルを付与する手法で、ImageNetのSOTAを更新した研究。EfficientNetをフルラベルのデータで学習した後、JFTのデータに疑似ラベルを付与する。フルラベルと疑似ラベルを混ぜて生徒モデルを学習する(生徒学習時はノイズを加える)。教師と生徒を交代し学習していく。Share複数データセットを統合して、データサイズを増やそうという試み。全体としては、GANを利用しデータセット間の「翻訳」を学習させるイメージ。Share多言語の分散表現を得る手法(LASER)。LSTMのEncoder/Decoderが基本で、Encoderで処理した文はMax-poolをとり、Decode時に常に言語IDとともにconcatする。Encoderが言語独立の表現獲得を担当し、Decoderが言語固有の復元を担当する形で学習を行う。Shareシンプルな手法で、多言語の単語分散表現をチューニングする手法(Emu)。Encoderを、同じ意味の文がまとまるように(類似度ベースのクラスタリング)、言語の識別ができないように(他言語のEncoder結果と見分けられないように)学習を行う。Shareネットワークの蒸留を行う際に、出力層一歩手前の層の表現を近づける手法。通常は教師側と生徒側の出力(labelに対する確率分布)を近づけるようにするが、これだと出力の元である表現構造をうまく学習できないのでは?という着想に基づく。12の蒸留ベンチマーク全てで既存手法を大きく上回る。Learningの解説記事。個々のデバイスが「1タスク」(=パーソナライズ)に相当するマルチタスクラーニングの設定になる点に難しさと面白さがある(単にデータを吸い上げて学習、モデルを配信するだけで終わらない)。Learning)のためのベンチマークデータセット。Analysisの学習を複数分散デバイス(ユーザー)想定で行ってみることができる。ShareいわゆるAIについて、恐れられていることがまとめられた記事。ささいなことから、モデルの中のバイアスなど実害が生じうることまで丁寧にまとめられている。Share疑似ラベルがなぜ有効かを解析した論文の紹介記事。未知データに対するエントロピーを低減(=エントロピー正則化)するから、としている。疑似ラベルは最近結構注目を浴びている印象なので、今後理論解析系の論文がどんどん出てくるかも。ShareMeCab/Juman/Juman++/KyTeaといった日本語トークナイザをまとめてインストールして使えるようにするツール。システム開発研究室が公開しているOSSのリポジトリ集。書誌メタデータから学習したfastTextなど先進的の取り組みが公開されています。Shareラベルを外的に付与する(アノテーション)のでなく、内部的に付与するSelf-supervisedな学習についてのまとめ。Shareデータを取り計測して改善とよく言うけど、計測する指標がわからん、というときに参考になるサイト。アプリケーションにかかわる多様な指標がまとめられている。ShareとてもわかりやすいDockerの記事。機械学習でないですが、Dockerは欠かせない要素になりつつあるので、まだあんまり詳しくないという方はぜひ。Share自然言語処理で企業分析を行うためのデータセットを公開しました。有価証券報告書をまとめたテキストコーパスではなく、株価や財務数値などを付与して業績への相関が分析できるようにしています。