リレーションを利用した検索を実行する。データベースはSQLite使用。Flask+Jinjaテンプレートでincludeやextendsを用いてデザインを共通化する。PythonでTomlファイルを読み込んで値を参照する。参照した値を編集してファイル出力する。下記のデータを読み込ませてみる。Flask-Loginを用いて簡易なログイン機能を実装する。具体的に実装される機能は下記あたり。FlaskでHTMLフォームからファイルをアップロードしてサーバー上に保存する。Pythonのimghdrモジュールを使って画像ファイルの形式を判定する。pngファイルをimghdrで判定してみる。gitの操作をPythonから実行してみる。cloneしてdiffを見てbranch切ってcheckoutしてcommitしてpushするまでを実行。アクセス数等をGoogleアナリティクスからPythonで取得する。Insightsはツイートなどのテキストから書いた人の分析をします。)の分析や、ミュージカル映画を好む、楽器の演奏経験がある等の分析結果が取れる。GCPのAPIを使っているとprotobuf形式で結果が返ってくることがあるけど、そのままだと扱いづらいケースもあるのでJSONに変換する方法を確認する。pandasで一時データを保存しておきたい時に、pickleやcsvで出すのも良いけどDBに出しておいた方が後で楽というケースがたまにある。そんな時に使いそうなSQLiteとの連携。Pythonを利用してBigQueryのデータの追加、削除、検索を行う。データはpandasで用意して投入する想定。APIを呼び出して画像やPDFから文字を読む。下記のようなことができる。Pythonのclickでgroupを使うと1つのスクリプトに複数のサブコマンドを実装できる。引数に応じて2つのコマンドを出し分けるシンプルなコード。APIを利用して下記を行います。面倒だということで名高いAPIのアカウント申請についてはここでは取り扱いません。Python3.4から導入されたpathlibでのファイルやパスの操作について確認する。下記のようなパス構成に対して操作を行う。y座標)にいるかも取得したい。Pythonのログ出力は標準ライブラリがすんなりとは使いづらいので、ログをより簡単に扱えるライブラリ、loguruを使ってみる。pandasのto_dictは引数にいろいろなモードを指定できるので、それらの動きを確認しておく。序盤はorientごとの結果の表示。カラムA〜Cを持つDataFrameを用意する。mypyを使ったPythonでの各種型チェックの方法についてまとめる。最近はPythonでも型指定を真面目にやっている例を見かけことが増えてきた感がある。Pythonで文字コード判定をしたくなることはよくあるので、やり方をメモしておく。utfとsjisのファイルを生成しておく。イエスは身を起こして言われた。Pythonでzipファイルを生成したり、解凍したり、ストレージに展開せずにzipの中身を読んだり、既存のzipにファイルを追加したり等。resourceを使ってPythonで使うメモリにリミットをかけてみる。Errorで落ちるようになる。PythonでAvroのファイルを扱う。avro-python3より速いと噂のfastavroを利用。pandavroを使ったpandasとの連携も試す。ui、ログなどに表示されるプログレス表示。標準出力をログに落としていたらこれのせいでログサイズがデカくなり過ぎたので、更新頻度を調整してみる。Pythonのwith構文で自動でリソースがcloseされる系の処理を、contextlibを利用して定義してみる。PySparkはUDF/UDAFが手軽に書けて便利。カンマ区切りの文字列が入ったカラムを用意して、それをsplitしたり戻したりといった処理をudfで実行してみる。PCAを使う用事があったのでscikit-learnを利用する。ランダムにユーザーにアイテムを割り振るサンプルデータを生成してみる。PythonでHDFSの操作をしたかったので、pyarrowに入っているclientを使ってみる。類似のライブラリは他にもいろいろあるけど、pyarrowはその中でもメンテナンスが活発に行われている方なので安心感がある。installする際にgithubのmasterや任意のブランチからインストールしたい。helloworldと出力するだけの自前ライブラリを用意してgithubにpushしておく。(1)リンク株式会社iMindスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。