Serverで実践します。Engineerに合格したので勉強方法など共有できればと思います。Cloud認定試験の一つでビックデータまわりの知識を問われます。PythonDataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。Pub/Subの概要とPythonでの使い方を記事にしました。Clientを使いトピック・サブスクリプションの作成からメッセージ送信・確認まで行います。GCPBigQueryウィンドウ処理の備忘録です。ベンダーごとの旅客数が多いレコード順にランクを付与します。Pub/SubDataflowが得意なこと、苦手なことを考えてみました。AutoML著名な方の意見を参考にAutoMLでDSの役割がどう変わりそうなのか調べてみました。ComposerでDataflowテンプレートを順次キックしていく逐次処理を行います。順番に処理が行われたことを確認するために前のDataflowのテンプレート実行し作られたファイルを参照する処理にしました。GCPDataflowで使うパイプライン処理の備忘録です。随時更新できればと思います。PythonDataflowテンプレートでカスタムパラメータを追加します。パラメータを静的に定義する方法とテンプレート実行時に動的にパラメータを指定する方法を紹介します。GCPが管理するフルマネージドでサーバレスなクーロンサービスです。Composerの活用事例と料金体系について調べてみました。GCPGAEなどでDataflowのテンプレートの実行方法です。FunctionsでGCSのバケットに置かれたファイルを検知し、Dataflowのテンプレートをキックします。Functionsでファイル名を取得し、Dataflowのテンプレートに引数として渡します。Loadingを利用して追加」する方法が良いようです。PythonPythonベースで記述したDataflowのコードをテンプレート化し、実行してみます。テンプレートを作成するためには以下のコードを追記するだけです。コードを実行するとGCS内にテンプレートが作られるので、作成したテンプレートを実行してみます。PythonDataflowでPython3系を使って良さそうか調べてみました。FunctionsでバケットにアップしたファイルをBigQueryに書き込む処理をします。OAuth2.0OAuth2.0のGCPでのシーケンスや推奨方法を調べてみました。OAuth2.0の簡単な概要からGCPで採用している認証方法とOAuth2.0で許可証を発行する場合のシーケンスとサンプルとなります。GCPJupyterからBigQueryを使うことがよくあるので備忘録として残しておきます。PythonクライアントライブラリをインストールすることでJupyterから実行できます。GCPBigtableについて調べてみました。GCPGCPのサーバレスETLツールであるDataflowの検証をしてみました。前に使った時はPython2系しか使えなかったんですが3系のサポートも始めたらしいので期待です。10秒)したので、その時の知見をメモとして残しておきたいと思います。Engine(GCE)にJupyterで必要最低限の分析環境を作る入門者向けの記事です。GCPBIgQueryでカンマ区切りのデータを分割する方法をご紹介します。データはここに置いておきます。サンプルの中身はカンマ区切りのデータとなっています。BigQuery時系列データでタイムスタンプがJSTでないことはまあまああるかと思います。BigQueryでJSTに変換する方法を記事にしました。データは以下の形式ならそのままクエリ実行できると思います。JupyterJupyterでGCSにあるファイルを読み込み、DataFrameとして扱う方法を紹介します。サーバにいちいちデータを落としたくない場合やディスク容量がない場合に使えるかもしれません。いつも通り完全に備忘録です。BIgQueryに関する記事を書きます。データ読み込み・出力方法やクエリ検索まで備忘録も兼ねて記事を書きます。環境構築に関する記事を書いてみました。Dataproc]クラスタ上でDatalabを構築するメリットを実際のユースケースも考慮して書いてみます。クラスタ上でジョブを実行し、GCS内のデータを加工したいと思います。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。