機械学習エンジニアの田口です。普段は自前で構築したBanditアルゴリズム入りABテスト基盤の面倒を見ながら、エンハンスをちょこちょこ進めております。Learning、AutoMLです。今回はスウェーデンで開催されたIJCAI(※)に参加してきたので、その内容をいくつかご紹介できればと思います。Intelligenceの略。AIの匂いがするpaperが多めでした。papersのマジョリティが強化/深層関連なので、最早名前で分類しようとするのは難しいのではないかとも感じました。論文関連の情報は昨今簡単に手に入るので、今回は現地に行ったからこそ手に入った情報に寄せてお届けします。Bengioさんのチュートリアルや!これは聞かねば、と思って参加したセッションです。Learningは、個人的には積極的に使ってきませんでした。Learningを駆使したものとなっており、今後の基礎知識として必要不可欠である認識もしているので、改めてこの機会に体系的に学ぶつもりで参加しました。結論から言うと、望んだ通りの知識を持ち帰ることができたと思います。Learningの発展を追いかけながら、それぞれがどういった技術かの解説、具体的な論文はコレ、など改めて学びなおすには最適な内容だったと思っています。参加して真面目に聞いたからといって体得したことには全くなりませんが、帰国してからの教材含め手に入ったのは非常に有意義でした。■AutoML(workshop)https://sites.google.com/site/automl2018icml/一口に自動化といっても、その言葉が指す範囲は広く、実際に自動化が可能かどうかは別にして、データ取得〜結合〜前処理〜モデリング〜人間によるモデル理解〜デプロイ〜モニタリング、リプレイスまでがその対象となりえます。トピックに分かれてトークが複数存在する形となっていました。セッションの一つでは、モデリングの自動化ツールを紹介していました。モデリングが指す範囲もまた広いですが、ここでは統計モデリングの自動化に絞ったツール、具体的には事前分布の選択〜カーネルの選択、最適化指標の選択からモデル理解(特徴量重要度やどういったケースに強い/弱い等の理解ができるレポート)までをカバーした自動化ツールを紹介していました。モデル構築自動化の文脈だとリクルートが出資しているDataRobot含め、昨今少しづつサービスが出てきている印象です。Searchに光が当たっていました。Searchという概念に非常に感動したのですが、上記を更に改良したものがいくつもあったと思っています。Searchに焦点を当てていた印象でした。evolutionというポスターでした。forward部分をどううまく作るかにフォーカスした作りになっており、ゲートや離れた層のコネクション、活性化関数の選択等々、DNNを構築するにあたって重要な他のピースについては大きく触れられていないように見受けられました。optimization偏重だった研究をさらに発展させるための楔を打ってくれたものだと個人的には思っています。Challengeなるものが存在していることに現地で気づき、来年は出たいと思いました。大枠kagggle等のデータ解析コンペと同じですが、前処理含めたコード全体をsubmitする点が違います。phase1では当該コードをsubmit→結果が出るといった内容ですが、phase2では人間の介入なしで当該コードを使って出た結果のみで評価されます。公平を期し、実用性を(少しでも)高めるため、参加者は主催者が用意した環境を使い、制限時間内にタスクをクリアする必要がある(時間がかかり過ぎると有用なものとは言えない)+違ったデータセット(全5種)に対するpredictionを実施する必要(汎用性観点)があります。1位、2位のソリューションがポスターになって発表されていた&2位のソースはGithubで公開されている(https://github.com/jungtaekkim/automl-challenge-2018)ので、興味があれば見てみてください。AutoMLの文脈で言えばAAAI2017にも同じタイトルのワークショップがあり、私はそこにも出席していましが、結論、(今でも)前処理がかなり大変な印象です。Paper枠(※解く価値が非常に高い&非常に困難な問題に取り組んだもの。結果は問われない)で出ていた取り組みの中に特徴量エンジニアリングをメタデータだけ使って実施する、というものがありましたが、結果は芳しくありませんでした。上記だけで判断するのは早計かもしれませんが、現状特徴量エンジニアリングは人間のドメイン知識/Kaggle等の特徴量生成手法に基づいて実施するのが最良で現実的な手段だと思います。自動化のためには上記知識の獲得という非常に難しいタスクをクリアする必要があります。Chollet氏の最近のTwitterでの発言を見て、思っているよりは早く実現されるかもしれないと思いました。12があるゆえ、学習に非常に時間がかかる)とかなり似ていると思いました。実際前処理文脈でも、過去の前処理したときの内容が利用できるならば効率的な学習(過去加工したデータセットのメタデータの特徴を利用し、今回前処理するデータに近い前処理を実施する等、強化学習で言えばよりよくプレイできた回のみ学習する等)ができる!という論文がありました。前提知識の獲得、効率的な学習という強化学習と共通したように見える問題が解決(or改善)されればAutoMLは一躍脚光を浴び、機械学習が更に日常生活に浸透する未来(実現するんだろうか・・・)が見えます。talk)既に直前でネタバレしていますが書きます。強化学習が碁を含めゲーム方面で多大なる発展を遂げている一方、その学習コストの高さ(Atariで60時間等)、現状を打破していく方向性についての話でした。通常の人間であればAtariを数回プレイすれば満足にプレイできるようになるのに、強化学習の学習はいくらなんでも遅すぎる。大きな原因は2点、一般的知性/常識の欠如と学習の遅さである。人間の1歳児、猿でも重力に反する事象が起きた時に驚きを隠せないリアクションをとるのに、そうした常識がない、本当に赤ん坊以上にまっさらな状態から学習をスタートする点で学習効率が非常に悪いこと指摘していました。関連する話で、別日セッションに自然言語処理文脈での常識を踏まえた質問分への回答生成や、効率的学習(Atariを例にすると、うまくプレイできた回からのみ学習する)があったので、研究者界隈では問題意識としては共通したものがあり、解くための試みがすでに始まりつつあるのだと思います。したセッションは研究者が次の研究の対象/方向性を決めるには大いに意義のあるものだと個人的には思っており、今回著名人から改めて現行強化学習の常識の欠如、学習の遅さが問題点として再設定されたので、遅くとも来年あたりには非常に効率的な強化学習やAutoMLの話が聞けるのではないか、お財布に優しい強化学習、AutoML(の一部)ができるのではないかと勝手に期待しております。MarketplacesAmazonのようなオンラインマーケットプレイスでのプライシングを競合の存在や不確実な需要を踏まえた上でシミュレーション、価格の最適化を行うためのツールです。こんな全部盛りの状態でOSSで出てくることに、非常に驚きました・・・。https://github.com/hpi-epic/pricewarsドローン+密猟者detectionドローンを使った公共事業を国外でやっている方がいますが、本件も非常に有意義なドローンの活用方法を提示してくれました。アフリカの密猟者をドローンで発見(たとえ森の下に隠れていたとしても)し、一番近くにいるレンジャーに即座に情報連携、未然に密猟を防ぐ、というものでした。ドローンは高所作業、広大な土地、公共事業と相性がいいなと思います。WorkshopAlibabaで現在利用されている商品のレコメンド、CTR予測を実施するために利用しているモデルの話でした。Learningをベースにした手法を採用していますが、製造元と繋がれる世界一のオンラインサービスだけあって、内部で採用しているアルゴリズムの日進月歩での進化の軌跡を垣間見ることができました。こちら残念ながら資料は非公開とのことです・・・。※リポジトリ/ライブラリが公開されているものを多めに紹介します。それ以外のものは簡単に論文概要を紹介しますので、ぜひ検索してみてください。learninghttps://github.com/phquang/OnlineDeepLearning深い層のモデルを作るが、1層ごとにoutputを出す。結果は層ごと出力の重み付けアンサンブル。データが少ない時は浅い層の出力重みが増し、多くなってきたら深い層の出力重みが増す。searchを可能にした。searchには強化系、進化系、その他の3種があるが、進化系を採用している。representationをembedした特徴量を生成する。Architectures画像ごとに分類に最適なネットワークの構成要素は異なるので、個別に多少違った処理をするためのネットワークを構築する。DNNの構造は予め用意しておく必要がある。複雑さと最適性をバランスするためのアンサンブルアプローチについての論文。kl-UCBは計算量が重い、UCB1は精度に問題あるので間をとった。分布間距離計算が軽いものを複数使い、最良のものを都度採用する。functionという定義を満たすものならば何でも、本論文で紹介しているアンサンブル手法に加えて使える。kl-UCBと比較して1%の計算時間ですむ。Dataclass:nullを許した部分的なclustering。特徴量空間において、データが密集しているエリアこそが大事。画像検索:特徴空間における密集度が高い=検索結果として表示するものが重複している。diversityを確保したいなら検索結果からは抜いたほうがいい。data→密度が高い=大事な/着目すべきデータ。metricは自由に選べる。公園にトレーニング器具が魔女の宅急便、最後のシーンのモデルになった広場レセプションパーティーはストックホルム市庁舎での開催!でしたが、満員とのことで入場制限が。ARCHIVES2020年2月2020年1月2019年12月2019年11月2019年10月2019年8月2019年7月2019年6月2019年5月2019年4月2019年3月2019年2月2019年1月2018年12月2018年11月2018年10月2018年9月2018年8月2018年7月2018年6月2018年5月2018年4月2018年3月2018年2月2018年1月2017年12月2017年11月2017年10月2017年9月2017年8月2017年7月2017年6月2017年5月2017年4月2017年3月2017年2月2017年1月2016年12月2016年11月2016年10月2016年9月2016年8月2016年7月2016年6月2016年5月2016年4月2016年3月2016年2月2016年1月2015年12月2015年11月2015年10月2015年9月2015年8月2015年7月SHAREリクルートグループサイトへ利用規約プライバシーポリシーお問い合わせ。