GCPでのGPU価格が値下げになりました。停止されることがあるとはいえ、最新のGPUをだいぶお求めやすい価格で使えます。GCPでのGPU価格が値下げになりました。停止されることがあるとはいえ、最新のGPUをだいぶお求めやすい価格で使えます。東大松尾研が監修するDL4USが現在2期生を募集中なので、受講してみたい方はぜひ。Taskonomyは、画像関連タスク相互の転移しやすさをまとめた非常に大がかりな研究です。画像(のタスク)については、だんだんと全体像が見えてきているのかなという印象です。embeddings~は、最近出てきたコンテキストの転移(ELMoなど)を狙った文ベクトルの性能を比較してくれている有難い研究です。先日のOpenAIのモデルが入れば言うことなしですが。(まだ執筆中のようなので、入る可能性あり)。Twitterが社内の機械学習基盤について記事を公開しました。古めですがUberの基盤についても紹介しています。何れも非常に進んでいるなという印象です。API対応は個人的には待望の機能なので、ぜひチェックしてみてください。推論専用サーバーをどうしようと思っていた方には、吉報だと思います。Preemptibleは最大24時間使用可能で、Google側のタイミングで停止される可能性がある(その場合30秒前に警告有)。その代わり通常のGPUインスタンスの1/3くらいの価格で使用可能。SharePFNが、ONNXフォーマットを読み込んで高速な推論を行う、推論専用ライブラリを発表。C/C++がデフォルトだが、C#のラッパーも提供されている(あとなぜかHaskell)。CloudとUnityとの連携が発表。ゲームのバックエンドとなるクラウド側インフラとしてGCPが使いやすくなる模様。松尾研究室が監修する、深層学習を学ぶ講座の第二期が募集開始。受講は無償だが、受講者にはGPU環境が提供されるというありがたいプログラム。ShareUnity上で強化学習を可能にするML-Agentsのv0.4がリリース。新しい環境が追加され、内発的報酬を使った学習もサポートされた。Share模倣学習を行う際に、タスクを階層的に考える手法の提案。「学校まで行く」というのが高次の行動で「右に一歩進む」が低次の行動(通常のアクション)になる。各ゴールへの到達が失敗した場合のみエキスパートの行動を取り入れることで、模倣対象であるエキスパートの負担を下げることができる。Share様々な画像関連のタスクが、どれくらい相互に転移しやすいかを調べた研究。全26の画像関連タスク(セグメンテーションやエッジ推定など)をそれぞれ個別に学習した後、他のどのタスクに転移しやすいか、また他のどの特徴と組み合わせた場合精度が高まるかを検証。Share自然言語処理のタスク全10個を単一のモデルで解く新しい問題設定と評価手法の提案。様々なものを含むが、フォーマットは質問回答の形に還元されている(要約なら、「この文の要約は?」になるなど)。マルチタスクで学習を行い、転移性能が確認できたとのこと。Shareサブワードを分布で表現し、単語をその集合(混合ガウス分布)で表現するという手法(サブワードは文字n-gramで作成する)。式はサブワードの組み合わせのみでなく、単語ベクトルを補完する形で定義されている。単語類似度の精度が上がったほか、未知語対応の効果が確認できた。Share単語ベクトルから文のベクトル表現を得る、シンプルだが強力な手法。単語ベクトルの平均を取るのが基本だが、TF-IDFライクに頻度が高い語については重みを下げる。各文のベクトルが出そろった後全体(文数Xベクトルサイズ)の第一主成分要素をマイナスする。Encoderといった文ベクトルを作成する各手法について、その性能を様々なタスクで比較した研究(Word2VecやGloVeの平均で作成したものも含む)。結果としてはELMo/USE(Transformer)強しというものだが、すべてのタスクで高いパフォーマンスのものはまだないという。ShareTwitterの機械学習基盤であるDeepBirdを、TorchベースからTensorFlowベースに移行した話。ShareUberの機械学習基盤であるMichelangeloの紹介。SQLで処理、モデルはTensorFlow中心という点はTwitterと同様だが、有用な前処理/特徴を共有し、また処理を書きやすくしている。ShareFacebookが2017年に発表したCNNによる翻訳モデルの実装が、Torch=>PyTorchに実装しなおされて登場。Transformerなどその他の翻訳/生成モデルも実装されたほか、事前学習済みモデルの提供、分散GPU/FP16での学習対応など活用・学習しやすくする対応も行われている。gRPCがちょっと面倒で敬遠していたケースでも使えるようになるかもしれない。Shareブラウザ上で強化学習ができる環境Metacarの発表。車をぶつからないよう動かす環境で、エージェントの挙動のカスタマイズも可能。Gradient)もある。Share2D画像から3Dモデルへのマッピングを可能にするDensePoseの実装が公開。Notebookも公開されている。Share音楽のスタイルトランスファーを試みた研究(おそらく南カリフォルニア大学での授業の課題)。Seq2Seqをベースに(Encoderは共通で、Decoderをジャンルごとに分ける)、VAE-GAN、Seq-GAN等を試しており、実験条件も丁寧に書かれている。結果はSeq2Seqが一番うまく動いているように見える。Share自然言語からコードを生成するためのデータセットの提供と、コンテストの開催。「ソートしたい」=>「配列xを大きい順に並び変えたい」=>「x.sort(reverse=True)」といった形で、要求・具体的な要求・コード(Python)の3点がセットになっている(クラウドソーシングで作成、データ元はStackOverflow)。Sharescikit-learnライクに時系列データのクラスタリングができる、tslearnの紹介。Shareクラウドで提供されている評判分析のAPIを、実際のIMDBやYelpといったデータセットで評価している記事。評価が客観的になるため有難い。GANについて解説を行っている。そこからさらに学習を工夫したWGAN-GPまで、実験結果を交えながら紹介している。Shareスクロールしながら機械学習の基本的な仕組みが学べる記事。スクロールに応じてインタラクティブに図が動くようになっており、わかりやすいか・・・は若干微妙な所だが、サイトデザイン的には目を見張る出来栄え。