Kafka、fluendを使ってサービス構築をしている。得意な言語はgolang、javascript。echo、Vue.js。BuildやSpinnaker、Kubernetes。Michelangeloとは2015年半ばから始まったプロジェクト。Uberが開発している社内機械学習プラットフォームのことである。Eatsだとお届け時間を予測したりしている。その自動でプロダクションコンテナへデプロイを可能にして、ワークフローをend-2-endなシステムで完結させ、チーム間や組織内で利用できるようにする仕組みである。Michelangelo開発のきっかけ継続的デプロイなどの背景にある原因が機械学習モデルにも同様に見られたからです。以下のようなビルドデプロイツールの多様化(scikit-learnなど)パイプラインの再利用性ミュータブル環境構築などの項目では組織体制に問題があった。チームごとでも方針も、技術選定も違っていた。結果的にインフラエンジニアが少数いるように、機械学習エンジニア、サイエンティストが少数に限られていてしまっていた。システムアーキテクチャOSSによって構築される。使用されているのは以下のようなOSSである。一般的なデータ収集基盤などは大まかに以下の手順で構成される。データレイクKafkaやfluentdによってログデータなどによって、全てのデータが保存している場所である。一般的には非構造データである。一般的な機械学習エンジン構築と同じである。データ管理オンラインとオフラインパイプラインに分かれている。低レイテンシで処理する。リアルタイム性が求められるようなもの。データマートを作成するためなど、要件としてはなににでも使える。組織内で処理したデータを使用するためにデータを管理している。構築図は以下の通りである。ここはあらゆる構造化、非構造化されたデータが保存されている場所であり、UberはHDFSを使用している。JobとしてSQLでデータを取り出して分散処理をしている。ここはHadoopのラッパーであるHiveに保存して、分散処理でCassandraにデータを格納している。組織間でデータを使用するために格納している。読み出しが非常に高速で行うことができる。Sparkでラベリングなどをした結果を保存している。学習では一般的にはオフラインで行なっている。モデル設定はハイパーパラメータや、コンピュータリソースなで設定している。YARNやMesosで動いているトレーニングジョブを設定できる。モデル評価モデルは全て保存され、Cassandraに格納される。以下の項目が保存される。モデルデプロイモデルのデプロイはどのように行なっているのかがわからないが、継続的デリバリーを行なっていると考えられる。Storeで取り出されて、予測したり、実際のトラフィックから予測したりする。予測をモニタリングする以下のように予測した結果もどうようにデータベースに格納してモニタリングをする。以下のように可視化して、モニタリングをしやすい環境を整えている。データレイクデータレイクは、規模にかかわらず、すべての構造化データと非構造化データを保存できる一元化されたリポジトリです。データをそのままの形で保存できるため、データを構造化しておく必要がありません。ダッシュボードや可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、的確な意思決定に役立てることができます。まとめるとなんでもデータを保存している場所。Kubernetesのいろは。2018の14日目の...2018-12-14CircleCIでSpinnakerのデプロイメントパイプラインをデプロイするどうも、もうすぐ大学卒業の@timtimtim1026です。2018の第3日目の記事です。»プロフィール学生エンジニア。忘れてしまうので備忘録です。flaskでServerlessにホストするTelepresence概論スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。