機械学習とかDeepLearningのデータのアルゴリズムとロジスティクスの話。BlogEnsekiTTが書くブログです。機械学習とかDeepLearningのデータのアルゴリズムとロジスティクスの話。2017-09-28機械学習とかDeepLearningのデータのアルゴリズムとロジスティクスの話。なにしたの?友達と話したアルゴリズムとデータ自体のロジスティクスの話をまとめておこうと思って書いた。*1飲み屋での話の流れ*2最近多少マシになったけど、一時期のアルゴリズム深すぎて自宅で回すのきつくね?わかる。みたいな話をしてた時に、つか、アルゴリズムは新しく考えるんじゃなければ実装すりゃいいけど、アルゴリズムにデータ流すところで苦労してるよな俺らって言葉が出て、そこからデータをためたり流したりビジネスで活用するところの話になった。アルゴリズムとデータ構造っていうよりちょっと広いよね。別ではないけどデータのアルゴリズムとロジスティクスってことじゃね!?とお互い納得してた。ResNetとかとかロジスティクス*3データの入出力やデータ構造、保持の仕方、ビジネスロジックへのエクスポート(今更だけどだいぶ広いと分けてみた。Wikipediaで調べてみるとロジスティクスとは、サプライチェーンプロセスの一部であり、顧客の要求を満たすため、発生地点から消費地点までの効率的・発展的な「もの」の流れと保管、サービス、および関連する情報を計画、実施、およびコントロールする過程である。Wikipediaって引用が出てきた。「もの」ではないけど「データ」に置き換えるとしっくりくる。実はロジスティクスで苦労してるみんな大好きMNISTチュートリアルはどのフレームワークでもアルゴリズム以外の部分を徹底的に隠蔽されている。下手すりゃアルゴリズムだって意識させない場合すらある。機械学習系の仕事をしてる友人は、アルゴリズムももちろん触っているけど、データの入出力をうまいことやれたから商売になっている。いってて、極論、アルゴリズムを価値に変えているのはロジスティクスの部分。活用したい人たちはアルゴリズムを作りたいわけじゃないから、ざっくりいうと凄いらしいアルゴリズムに、うちのビジネスや活動から生まれるデータを繋いで有益な情報を得たい!!って思ってる。一部の人以外にとってはいくら優秀なアルゴリズムもサービスインできなければ価値は産まない。cifar10_main.pyこんな感じで動かしている。環境さえ整っていれば2行で動くんだからすごい。すごすぎてなにやってるんだかまるでわからん。ensekitt.hatenablog.com動かした時の記事はこちら。コールバック関数)コールバック関数ではダウンロードステータスを表示するコードが動いている。'r:gz').extractall(FLAGS.data_dir)対象ディレクトリにtarを解体するどんなもんが出来ているのか確認する。Cifar-10-batches-binというディレクトリができてる。data_batch_[n].bintest_batch.binがあってそれぞれ1万枚ずつ画像が入っている。ピクセルデータ>って感じで入っている。これでデータが調達できました。これでも狂ったようにラベル付けたりしてないだけだいぶマシ。Cifar-10についてとても詳しくまとまってて参考にさせていただいた。unsplash.com*2:酔ってた*3:※一般的な名前ではない。その時はロジスティクスでしっくり来た。なんかいい言葉・既存の言い方があったら全然乗り換える所存。22:00機械学習とかDeepLearningのデータのアルゴリズムとロジスティクスの話。ヶ月)EnsekiTTが書くブログです。機械学習とかロボットの仕事してます。ライセンスの下に提供されています。スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。