Googleオフィシャルな機械学習講座が公開されました。基礎的な内容からしっかり学べるコースになっています。Googleオフィシャルな機械学習講座が公開されました。基礎的な内容からしっかり学べるコースになっています。HomebrewにおけるデフォルトのPythonがPython3になりました。PythonはPython3です。Python3を使いましょう。WaveRNNは、1層RNNという衝撃的に単純なネットワークでWaveNetと同等の品質の音声合成に成功したというものです。ここで使用されているトリックはRNNの強い自然言語分野でも使えるかもしれません。Generation"を思い出させました。News~はしっかりした研究の進め方をしていて読みごたえがあります。TensorFlowにおけるRNN実装は結構情報がないので、掲載したブログは参考になります。Kerasによる対話ボットの作成システムは単純なEnd2End以外の仕組みもサポートしており、スマートスピーカーが出てくる中でちょっと高度なボットを作成したい、という時に使えるようになるかもしれません。Priors~は、自然言語処理に携わる方は読んでおいて損のない対談記事となっています。ShareGoogleオフィシャルの機械学習を学ぶ講座が公開。ニューラルネットが出てくるのは割と後半で、Courseraのコースに近い、基礎的なところから学ぶコースになっている。Share音楽のマスタリングを行ってくれるOzone、トラック調整をかけてくれるNeutronの新バージョンがそれぞれ登場。連携機能も提供されている。ShareAWSの機械学習用AMIでChainerのプレインストールインスタンスが使えるように。SharePython3を使ってください。ShareWaveNetをより高速にしたWaveRNNの提案。モデルはなんと1レイヤのRNN。softmax)、さらに重みを間引き96%削減、予測の将来部分に依存してさらに予測することでバッチ単位でのサンプリングを可能にしている。ShareRNNの構造よりも入力データに着目した研究。resolution)。actと質問カテゴリのようなもの)を使用する方法が提案されている。Ubuntuのテクニカルサポートというタスク指向型対話、Twitterの非タスク指向型双方で既存のモデルを上回る。Shareフェイクニュースを検知する試み。タスクとしてはある質問に対し、各記事のスタンス(賛成・反対など)を判定するというもの。実際にデータを参照することで関連があるか、関連がある場合そのスタンスは、という2つのタスクに分けたほうが有効と判断し、前者はRNN+Attention、後者は全結合で行っている。データを見る、洞察を得る、ベースラインモデルを作る(決定木)、その結果をもってモデルを組み立てる、という着実なステップを踏んでいて進め方の面でも参考になる論文。ShareOpenAIが公表した強化学習への進化戦略の適応について、より簡単な実装で比肩する性能を出せたという話。OpenAIの手法ではoptimizerを経由してpolicyを学習するなどの工夫が取られているが、本研究では純粋にpolicyの勾配を重み付き平均で更新するというかなり単純な方法をとっている。Share画像を見て質問に答えるVQAを、盲目の人が周りを認識するという実用的なシーンで役立てるために作成されたデータセット。画像、また質問は実際に盲目の人が(モバイル端末で)撮影、また質問したもので、それに対する回答をクラウドソーシングで収集している。Share文の論理構造を捉えるのに適したモデルを調査した研究。タスクは文間の関係推定で、関係性を捉えないと答えられないよう意図的に合成したデータセットを使用している。Shareクラス分類のタスクについて、マルチタスク+半教師ありを組み合わせた手法の提案。各タスクでラベル情報をEncodeした空間を共通で持ち、そこから各タスクに応じたラベルの予測を行う(主タスク)。ShareTensorFlowにおけるRNNの実装のまとめ。1.0前後でRNN系のモジュールは結構変遷が大きかったので、まとめてある記事は貴重。ShareKeras/TensorFlowをベースにした対話ボットを作成するためのライブラリ。DNNだけでなく、ルールベースも含めた対話システム全体を構築するためのパイプライン(と事前学習済みモデル)を提供することを目指しているとのこと。Share101のNumpyエクササイズ。逆引きNumpy操作辞典としても使えそう。Share自然言語処理の研究について、構造が先か、データが先か、という点が論じられている記事。前者を支持するManning先生と後者を支持する(構造はデータから学ばれるものだとする)LeCun先生の対談をまとめた記事になっている。BrainのResidencyに応募した話と、採用されるために行った工夫についてのまとめ。Googleだけでなく、様々な企業でResidencyプログラムは提供されているため、実地で研究の経験を積みたい方はぜひ参考に。Recall曲線(PR曲線)の違いについて。NegativeがFPRを通じ反映されることになるが、PRの場合これは考慮されない。そのため各クラスをバランスよく見る場合はROCの方が良いという。逆にPRはPositve予測が重要な場合に適している。VQ-VAEの追試で得たWaveNetのノウハウをまとめてみた。Share実際WaveNetを実装する中で得られた知見がまとめられている。Gymで、ロボット操作が行える環境が公開。物理シミュレーターのMuJoCoと連携して動作する。ShareGoogleが世界各国のランドマークのデータセットを公開。ランドマーク数は3万、写真総数は200万という規模。Kaggleのコンペティションを通じて公開されている(CVPR2018のワークショップで取り上げられるとのこと)。Shareペネトレーションテストに使用されるMetasploitと機械学習を組み合わせた試み。対象ホストの情報を収集し(NMapを使用)、それにどのMetasploitのモジュールが有効かを学習していく(強化学習で、A3Cベース)。