blogPythonで学んだことや読書録を書きます。(フリーランス)発表資料speakerdeck.com概要データエンジニアはデータを集めてデータレイクに入れる人。ログ、バッチ処理などをするデータエンジニアとアナリストの間にあるのはデータの抽出ダッシュボードなどでデータを可視化データの整理。さん発表資料speakerdeck.com概要メルカリをサポートしているメルカリはデータ整備人のポジションを最近作ったダッシュボードは運用設計してちゃんと運用開始後にも見直すべし5W1Hを掘り下げてダッシュボード作ろうダッシュボード自体に対してPDCAまわそう5W1Hは焦点を小さく絞ろう。議事録テンプレのURL経由で見る社内でSlackをどのように扱っているかのダッシュボードの例ー>Slackbotでオペレータに月イチで知らせる。運用される仕組み作り。「誰が」「いつ」「どこで」使うのか説明できるダッシュボードにしよう。誰かがいつか使ってくれるかもしれないのは結局使われない。データを可視化するのはビジネスを助けるため感想データの可視化によってビジネス側が問題の原因となりうる事象に気付き、ビジネスルールを改善するという事例があった。データの可視化によってビジネスが改善される良い事例だった。Colaboratory使うとSQLの処理の順序が可視化されてレビューしやすいhttps://colab.research.google.com/notebooks/welcome.ipynb?hl=jaノウハウが共有されなくて辛い->GitHubにクエリTipsを保存データ整備人に必要なスキル課題抽出力。「これを出すことでどんなメリットがあるのか」「結果を用いて何をしようとしているのか」を考える能力。これがないとただのAPISQL。関数とか学ぼうデータ理解力。データの仕様、どのように取得され、どのように書こうされるか。Horinowww.slideshare.netデータサイエンスではモデリング・分析のための前処理・可視化モデリングからサービス実装までが1チーム。大きなデータなので前処理が必須だけれども時間もCPUも使って大変。共通データが必要たくさんの部署と関わるのでコミュニケーション能力がとても大事ドメイン知識も大事データ開発運用をサービス側の開発に求めるのは失敗した。目標の違いやリソースが逼迫しているため。意図通りに使われないテーブル。中間テーブル作ったら大元のテーブルとジョインされた・・・。【TypeScript】型定義のためだけにimportしたクラスやインターフェースがno-unused-vars扱いされて困った話そのif文、Enumにしてみませんか。DjangoORMでウィンドウ関数を使おう「データアーキテクト(データ整備人)を”前向きに”考える会」参加レポート月別アーカイブ参加グループプログラミングはてなブログをはじめよう!mizzsugarさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。