2017に参加してきた。トークを応募していたので、本当はトークできたらよかったけど、落ちてしまったので、聴講のみの参加。聞いてある程度覚えているものを。Jupiterなどを使って、分析基盤を作った話。分析基盤の話が半分、野球の話が半分だった。結構な分析基盤をちゃんと作っていてすごい。分析基盤の方に興味があったけど、思ったよりさらっと話していた。Airflowが気になったのだけど、ブログを見てという感じだった。workerをGUIで管理できるらしくて良さそうだけど、設定はやや複雑だったり、依存ライブラリがかなり多いらしい。Pythonで大量データ処理!PySparkを用いたデータ分析のきほんslidePySparkのアーキテクチャの話や、PySparkを使う上での良いTips集だった。商品の概要文を自動で作りたいという話。マルコフ連鎖、自動要約、ディープラーニングという3つのアプローチで、自動生成したところ、自動要約の性能が良さそうだったらしい。概要文にオリジナリティが必要(SEO的に)とのことで、自動要約+言い換えで対応するらしい。5-gramまで使って言い換えすると、元の文章から結構変わるという話だったけど、ゴールがいまいちわからなかった...OpenAPIを利用したPythonWebアプリケーション開発slideOpenAPIとツール、事例について紹介していて、Swagger使うと便利ですという話だった。いうライブラリだと、フレームワークに依存せずにOpenAPIを使えてよいとのことだった。あるようなので使ってみたい。今から使うのが、2.0でいいのかはわからないけど。機械学習におけるデータの再現性についてslide機械学習タスクを複数人で取り組むと、再現性が問題になる。実験の再現性はデータの再現性に縛られるので、ちゃんとデータの再現性を担保したい。そのためにはコードでデータの取得ができるようにしておけるとよさそうなので、そのためのツールを作ったという話。ツール部分はサブで、メインは問題提起をしたいとのことだった。問題にしている部分はすごく共感できる。データのバージョン管理とかしてるのかと思ったけど、その部分はこれからみたいだった。SREエンジニアがJupyter+BigQueryでデータ分析基盤をDev&Opsする話slideデータ分析基盤とデータ分析の文化についての話。いろんな要望に応えていったら、システムが複雑になり、エンジニアチームの負荷も大きくなってしまったので、モデルとビューをちゃんと分離して、分析基盤を作った。ビューは部署ごとに適切なものを用意。今回のPyConJPで自分が聞いたなかでは一番面白い発表だった。現実と向き合いつつ、着実に分析基盤とそれを活用する文化を作っていくすごくいい話だった。PyConJPは3年ぶり2度目の参加。思ってたより初心者向けの解説的な発表が多かった気がする。2017に参加したTweet広告を非表示にする関連記事2017-03-21言語処理学会に参加した筑波大学であった、言語処理学会第23回年次大会に参加してきた...2016-03-14論文メモ:NLP2016今年は言語処理学会に参加できなかったので、proceedingsを眺め...2014-12-312014年振り返り年末なので2014年を振り返る。2014に参...2014-09-15テキストマイニングシンポジウムに参加したテキストマイニングシンポジウムに参加した。Quality月別アーカイブ参加グループはてなブログをはじめよう!skozawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。