Composerを使ってPythonOperatorやBashOperatorを叩いてみる。GCPのWebUIからcomposerを選択し、environmentを作成する。log4jsを使ってログ出力、フォーマットの変更、ファイル出力、ログローテーション等を行う。ログレベルをinfoに設定してログを出力してみる。puppeteerを使って下記の項目などを実行する。Pythonのログ出力は標準ライブラリがすんなりとは使いづらいので、ログをより簡単に扱えるライブラリ、loguruを使ってみる。PySparkで下記のようにソートしてからファイルに保存しようと思った場合。PySparkで機械学習系の処理をする際にSparseVectorに変換したいケースが多々あるのでそのあたりの処理を確認する。PySparkでDataFrameから指定の割合や指定のレコード数でランダムサンプリングする。1〜9999までの数値を持つDataFrameを用意する。PySparkでlistの中に入っている値を使ってOR条件を生成したい。ような条件を生成する。PySparkでhiveのテーブルのpartitionから最新のものを取りたかった。partitionsで取れた文字列をパースする。MovieLensのデータで各ユーザーがどの映画を見たかを、movieIdのArrayで持っているテーブルがあったとする。(1)リンク株式会社iMindスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。