PySparkで下記のようにソートしてからファイルに保存しようと思った場合。PySparkで機械学習系の処理をする際にSparseVectorに変換したいケースが多々あるのでそのあたりの処理を確認する。PySparkでDataFrameから指定の割合や指定のレコード数でランダムサンプリングする。1〜9999までの数値を持つDataFrameを用意する。PySparkでlistの中に入っている値を使ってOR条件を生成したい。ような条件を生成する。PySparkでhiveのテーブルのpartitionから最新のものを取りたかった。partitionsで取れた文字列をパースする。MovieLensのデータで各ユーザーがどの映画を見たかを、movieIdのArrayで持っているテーブルがあったとする。大きいDataFrameをページで区切りながらtoPandas()して保存してみる。1〜100万までのIDとランダムなスコアを持つDataFrameを用意する。pandasのto_dictは引数にいろいろなモードを指定できるので、それらの動きを確認しておく。序盤はorientごとの結果の表示。カラムA〜Cを持つDataFrameを用意する。mypyを使ったPythonでの各種型チェックの方法についてまとめる。最近はPythonでも型指定を真面目にやっている例を見かけことが増えてきた感がある。Spark2.4から複数のArrayカラムをconcatできるようになったらしいので試してみる。Pythonで文字コード判定をしたくなることはよくあるので、やり方をメモしておく。utfとsjisのファイルを生成しておく。イエスは身を起こして言われた。Pythonでzipファイルを生成したり、解凍したり、ストレージに展開せずにzipの中身を読んだり、既存のzipにファイルを追加したり等。Liteでコンバートする。TFLiteConverterには下記の4つのメソッドが用意されている。MNIST-fashionを例にTensorBoardで各種metrixを表示したり、画像を表示したり。resourceを使ってPythonで使うメモリにリミットをかけてみる。Errorで落ちるようになる。PythonでAvroのファイルを扱う。avro-python3より速いと噂のfastavroを利用。pandavroを使ったpandasとの連携も試す。Pillowで画像を読み込んでテキストを表示する。ついでにOpenCVでも同じことをしてみる。単純に画像を読み込んで表示だけするコード。ui、ログなどに表示されるプログレス表示。標準出力をログに落としていたらこれのせいでログサイズがデカくなり過ぎたので、更新頻度を調整してみる。Detectionする。全クラスを学習するのは弊社の持っているリソースでは現実的ではない為、リンゴ、オレンジ、苺、バナナの4クラスだけで判定するモデルを作ってみる。augmentation周りの処理がいろいろ用意されていたのでそれぞれの動きを確認しておく。multiprocessingで並列処理をする際に引数を複数渡す方法をいつも忘れてしまう。渡す引数が1つの場合はPool.mapやPool.imapでiterableな引数を渡すことが多い。chart.jsの円グラフのラベルを線をびーっと引いてその先に表示するようにしてみたい。最低限のコードで円グラフを生成。chart.jsで作った円グラフのグラフ内にパーセンテージを表示するようにする。最低限のコードで円グラフを生成。PySparkでSELECTしたカラムの名前を変更する方法を確認する。bazの3つを持つtmp_exampleテーブルを用意。TensorFlowでTFRecordの読み書きをする。機械学習をする際に学習データがメモリに載せきれるようなサイズでない場合は、ストレージに置いておいて頻繁に読み込む必要がある。Pythonのwith構文で自動でリソースがcloseされる系の処理を、contextlibを利用して定義してみる。矢印キーで1単語分移動をさせようとしたら「;5c」や「;5d」に変換されてしまい、移動ができなかった。~/.inputrcを編集してこれが可能なようにする。OVERWRITEしようとした際にファイルが細かくsplitされてHDFSの容量をムダに喰ってしまうことがある。SQLではrepartitionヒント文を使うことで分割するファイル数を指定することができる。PySparkはUDF/UDAFが手軽に書けて便利。カンマ区切りの文字列が入ったカラムを用意して、それをsplitしたり戻したりといった処理をudfで実行してみる。t-SNEとPCAでMNISTの手書き文字やファッション画像を2〜3次元に圧縮して可視化してみる。(1)リンク株式会社iMindスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。