元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。2016-12-23TFUGについにロゴができましたまずは誕生の瞬間をご覧くださいパチパチパチパチロゴない問題コミュニティ活動において、ロゴって重要ですね。これまではTensorFlow本体のロゴを使っておりましたが、ユーザーグループであってTensorFlow自体ではないため、権利関係がまあまあグレーな感じでした。先人たちのロゴうまくいっているコミュニティはいい感じのロゴがコミュニティの中心にドーンっといらっしゃいますね。GroupでGCPUGと略されジーシーパグと呼ばれマスコットがパグです。JapanでJAWSと略されジョーズと呼ばれマスコットがサメです。GroupでTFUGと略されティーフグと呼びマスコットがフグ、ということにします。可愛いロゴなんでしょう。ロゴに込めた思い機械学習/深層学習は良い素材(高級魚であるフグ)機械学習/深層学習はけっこう落とし穴もある(フグの毒)コミュニティで毒に当たらないようにうまい捌き方を学び/共有しあおう(フグを美味しく食べる)敷居が高そうな機械学習/深層学習に親しみが持てる(可愛いらしさ)ってことにします。実態は、TFUGって文字列と先人たちの流れに乗ってフグって決めて、後から考えたらけっこうコミュニティでやりたいことを表現されているモチーフだったので結果オーライでしょう。このロゴ、眺めているとなかなか愛着が湧いてきて、ステッカーとか缶バッチにしたらすごい良いんじゃないかっていうね。Tシャツを意識した別バージョンも準備されているとかいないとか、げふんごふん。ロゴもできましたので、今年の締めくくりとしては最高だったのではないでしょうか。来年はロゴもできたのでますますパワーアップして活動していきたいですね。開催しました今年最後のイベントを実施しました。Marulaboさんと共催でハンズオンです。tfug-tokyo.connpass.comなんかとんでもなく集まってしまい、倍率10倍以上となりました。抽選外れた方は申し訳ありません。いい感じの写真を取っていないというミスです。実施した内容Conpassページにも記載しましたが、基本的にはGCP上でGCEを立ち上げTensorFlowをインストールし、CPU版TensorFlowでチュートリアル+αをやりましょう、という内容でした。一応、全部で4パートに分かれていました。TensorFlowの近況の話いつも聞いているようで微妙に新しい話があるんですよねぇ。TensorFlowの勢いすごい。チュートリアルコード+デモアプリの話qiita.comハンズオンイベントは難しいハンズオンイベントは始めてでしたが、参加者のレベル感も手探りで、かつ学習処理が長時間走る深層学習のハンズオンって塩梅が難しいですね。プログラムを実行してからが長いし。途中グダったようになった部分もあり、諸々反省が多いイベントでした。CrashAcademyさんによりLive配信されていましたので、雰囲気はそちらからも見て頂けます。www.youtube.com再演します応募者多数なので年明けに第2回をやることになっており、「再演」っていうタイトルがついてますが、上記のたぶん編成含めて構成や内容には手を入れることになるでしょう。開催しましたTweet広告を非表示にするもっと読むコメントを書く2016-12-14TFUG#2を開催しましたこの前にも別のイベントを開催していたりいるのですが、全体的に準備と運営でバタバタ気味ですね。今回は写真も撮れなかった。今回も大入り満員となりました。参加率も高いですし、主催者としてはありがたい限りです。tfug-tokyo.connpass.com資料が公開されているものも合わせてご紹介です。見れなかったので後で動画と合わせて復習をしないと。qiita.comライブ配信も行っていますし、録画したものも公開しています。#2その他も色々やっています最近けっこう色々頑張っていますので、合わせてその紹介です。Calendarqiita.com2015年のアドベントカレンダーは参加人数1人と寂しい感じだったので、大躍進ではないでしょうか?購読数ランキングも14位とそこそこ健闘している気がします。いいね数が少ない辺りが硬派なTensorFlowっぽいですね。qiita.comNN論文を肴に飲む会#1tfug-tokyo.connpass.com私は論文をゴリゴリ読む人ではないので、読む人に主催していただいてそのお手伝いという感じです。事前に「ゆる〜く」を連呼していたのにもかかわらず、酒の勢いでガチっぽくなっていた気がします。#1tfug-tokyo.connpass.com個人的には盛り上げて行きたいやつです。普通のTFUGは適当に発表者が集まって適当に盛り上がるはずなので。今後やるやつハンズオンイベントです。軽い気持ちで企画したらえらいことになりました。TensorFlowの本家にあるのと同じ内容なのですが。tfug-tokyo.connpass.comあまりに人気なので、1月にもやることにしました、が、これも公開直後に埋まってしまった。tfug-tokyo.connpass.comこうやって見ると結構いろいろやっていますね。年内にロゴ問題に決着をつける!次のTFUG#3は来年2月くらいの開催ですかね。Group(TFUG)のミートアップを開催させていただきました。GoogleのGregさん初め、非常に豪華なスピーカーを招いて開催できました。tfug-tokyo.connpass.comGoogleブレインチームのco-founderのGregさんの参戦によりTVの取材が入るなどしました。AIってすごいんすね。(主催者が言うな)また、山口さんの発表中にはみんなでラジオ体操も行い、一体感もかなりある会となったのではと思っています!!!ライブ配信も行いましたので、もし参加できなかった方で興味がある方は御覧ください。なんと濃密な3hだったのか。#1Gregさん、山口さん、中原さんの資料は公開されているので合わせてどうぞ。2016の発表資料でも似たようなことを言っていたようで、謎の自信を持てました。́ー・`)どや)speakerdeck.com資料中に言及しているtf.learnとかKerasとかの話はもう少し詳しく以下に書いています。Nakaharawww.slideshare.net1回目が異常に濃かっただけに2回目が大変だなぁと思いつつ、年内にはもう一回はやりたいところ。何か話したいと言ってくれた人もちらほらいたのはうれしいですね。Groupから来ました〜」という謎の形で参加させていただくことになりました。Group自体は10/7付で立ち上げたばかりなので、ロゴも何もない感じでTensorFlowのロゴを借りていますが、滑り込みで他のコミュニティと並べていただきました。Group(GDG)コミュニティによって世界各地で開かれるデベロッパー向けイベントです。テクノロジーに関する技術情報、知識やアイデアを共有できます。言うGoogle関連の技術コミュニティ主体のデベロッパー向けのイベントですね。2016にて発表させていただいたというわけです。最近Googleは機械学習や人工知能を推しているわけで、そんな中でお話させていただいたのは光栄ですね。gdg-tokyo.connpass.com最近妙に広めの会場で話す機会が多くて、今日も一番大きなホール(満員で500名)が割り当てられていました。人間慣れるもんでだんだん緊張などはしなくなってくるもんですね。思ってたら、今日は朝から大雨で参加率自体がかなり低かったとのことで比較的空席が目立つ感じでした。この後もうちょい人が増えたと記憶していますが、せいぜい2/3も埋まってないくらいだったかなぁ、という感じです。Group立ち上げの準備も色々あったり、業務などが諸々重なって資料作成が一週間前でも完全に未着手で久々に冷や汗ものでした。今回は奇跡的に資料作成の神が降りてきて、なかなか良いものができた気がしています。タイトルが無駄にキャッチーですが、まあ内容は至って普通の機械学習とTensorFlowの基本の話で、すでに公開済みです。speakerdeck.com発表自体も比較的好調だったような気がして、AndroidエンジニアやWeb系のエンジニアが多い場だったため、機械学習やTensroFlowの立ち位置を明確化するように努めたのが勝因かもしれないと思っています。Groupについて元来わっしょいしていくこと自体は得意ではないのでこれからどうしたものか、という感じですが、個人的にはビッグデータブーム、データサイエンティストブームの時のように技術を理解していない方々に蹂躙されて焼き畑にされてしまった感があったのがやや悔しく、日に日に高まる人工知能/機械学習ブームについてはそうならないようにしたいな、と思ってはいます。端っこの方でそういう気持ちを持ちながら楽しんでコミュニティ活動をしていきますよ、と。tfug-tokyo.connpass.comまずは第1回のMeetupを10/12(水)に開催です。濃い目の会になるのですが、2回目以降も継続して開催していけるようにしたい。参加や発表への閾値を下げていくのがポイントですね。仕事柄、色んなパターンのデータ分析してる人の環境を見る機会があるのですが、よくあるのは下記のような7つかな、と思います。段々とやりたいことが複雑/高度化する、もしくはデータの規模が大きくなると下の方に進んでいく気がします。WindowsのGUIアプリやWebサービスの管理画面いわゆるエンジニアじゃない方がデータ分析を行う時はまずここからではないでしょうか。Excelなども何気に高機能ですし、Tableauなどでも色々できます。DocsのSpreadSheetはExcel並に色々できてしまいます。Excel上のVBAから始まり、Rを使ったり、それでも足りない部分はPythonを利用したり、という感じでしょうか。そこまで高度な事をしない、もしくはそんなにデータ量が多くないかぎりは、この領域でほとんどカバーできてしまうイメージです。Linux上でのコマンド操作データソースが複数にまたがったり、データの加工処理が必要になってきた場合はWindowsでは段々辛くなってきて、脱Windows化が起きてくる気がします。組み込みのコマンドを駆使したデータ加工を行うイメージです。最近では仮想マシン上で簡単にLinux環境を手に入れられるようになっていますね。Linux上でのプログラミングコマンドだけではできない加工処理や、加工処理からそのまま統計や機械学習の処理を行う場合をイメージしています。手軽なところではAWKなどから、シェルスクリプトへ、そしてPythonなどに向かっていくイメージです。DBとかKVSとかを自前で用意するLinux上でもファイルを読み込んで処理するのが辛くなってくる(メモリに全部載り切らず値の突き合わせができない、時間がかかり過ぎる、等)ので、元のデータソースとは別に、処理の中間着地点として、DBやKVSの利用を検討し始めます。段々とミドルウェアの知識が必要になってきます。Hiveとか、最近だとMPPデータが大きすぎて単体のマシンだといつまで時間がかかるか分からない、そもそも上手く処理できない、みたいなケースが出てくると、Hadoopだー、Sparkだー、という世界になります。HadoopやSpark上でそのままプログラミングするのはツライので、HiveやPigなどの裏側でいい感じにMapReduceを生成してくれるものに頼り始めます。Drill等もでしょうか。要はクエリをどんと投げていい感じにデータを抜き出したり加工したいという要望でしょうか。AWSのRedshiftやGCPのBigQueryもはいってきますね。Hadoop/Sparkなどの環境下でのプログラミングHive等では手がとどかない部分までコントロールしたい、しなければならない、となって直接プログラミングを行います。分散、大規模やで!(意味不明)問題意識:2と3の壁が大きい2と3の壁が非常に大きいと思っています。何となく3になると「黒い画面」になって尻込みする人が多くなって、3以上の人が「こっちに来ましょうよ」と言っても「ちょっと・・・」となってしまう方が一定数いるような気がしています。4と5なども壁としてはありますが、今の仕事で関わる範囲だと、2の人が3になることがデータ分析の業界全体にとってメリットが大きいことかなと思っています。データ分析に携わる人がみんなLinuxなどを扱える必要があるかは微妙なところですが、課題意識としてここを越えやすくする何かが必要だなぁと考えていました。そのタイミングで、縁ががありまして、まさにドンピシャな本の監訳に関わらせていただくことができました。scienceという大反響となったエントリが基になり、ものすごく大幅に加筆されたものとなります。単行本(ソフトカバー)この商品を含むブログを見る本書のポイントとしては、データサイエンスを行うプロセスをOSEMN(awesomeと読むらしいです)と定義して、それぞれのプロセスをコマンドラインで行おう、というものになります。curlなどでAPIからデータを取得して、JSONの結果をjqでパースして...のようにデータの取得、加工にもかなり重きをおいているのがポイントかと思います。VMが配布されており、本書で扱っている作業は全て再現できるのも、WindowsユーザーでLinuxに二の足を踏んでいる方にとってはとっつきやすいのではないかな、と思っています。上述の分析環境で3以上は楽勝です、という方には物足りない内容かもしれませんが、私自身も本書の監訳を通じてこれまで知らなかったけど便利そうなコマンドを知ることができました。あ、そうそう、監訳に参加したメンバーにて、いざ使うにあたって躓きポイントになりそうな日本語に関してや、弊社でよくある分析パターンなどを書きおろしています。発売の前後のタイミングがちょっとバタバタしており、非常にタイミングが悪いのですが、マーケティングに関する企業に勤めているので一度やってみたかったコンテンツマーケティングってやつです。こんなマニアックなブログの記事を見る人なら関連性は多少なりともあるでしょう。みなさん書店で手にとたり、Amazonでポチったりしてみてくださいね。反省点などキャッチーなタイトルをつけられなかった(難しい)記事は30分以内に書くと決めたが45分くらいかかった(記事を書くのはそう簡単ではない)内容が薄っぺら過ぎる(ささっと書くので深掘り感が足りない)うまいこと商品の紹介に繋がらなかった(文章力の問題)この記事に分析っぽい書籍のレコメンドとかしたらどうなるのだろうとか漠然と思ったまあなんでもやってみないと分からないですし、簡単な話はないですね、という。その4という感じで念願のStrataに参加でき、無事日本に帰国して落ち着いたので色々振り返ってみています。Conferenceと言いつつ、ほぼ誰もHadoopの事は言わず、ほとんどがSparkネタという。