blogメモと日記ですこの広告は、90日以上更新していないブログに表示しています。新しい技術何か触ったっけという日記です。新しく触ったやつは赤字です。やってたこと主に不正検知(機械学習ベース)やユーザーログ取得のPoC、TeradataやHadoopからデータ抽出・集計をやりました。触った技術Python機械学習やデータ抽出、集計などで使った。PyCharmに課金してサーバのコードをいじるぐらいしか新しいことはやっていない。JupyterLabを使い始めたけど特に拡張も入れていない。PHP既存コードがPHPだったので以下のオライリー本を読みながらPythonに移植したりした。最低限の基本文法を詰め込んだのみで既にほとんど覚えていない。www.oreilly.co.jpJavaSpringBootとThymeleafで社内ツールを作るのに使った。後期はこの業務がメインになりそう。SpringBootは昔使っていたので以下の本を読んで思い出した。テストもちゃんと書いているのでJUnitも勉強した。books.rakuten.co.jpgihyo.jpJavaScriptPoCにちょっと使っただけ。過去の知識で乗り越えた。StudioだったりPythonからSQLを投げまくった。方言がちょっとあるくらいで文法自体は特につまづくことはなかった(と思う)。Window関数もちゃんと使ったりした。テーブルや各カラムの定義を把握するのが大変だった。HiveHiveQLを使ってデータを抽出したり集計したりした。既存のクエリをちょっと修正して投げるということが多くまだ雰囲気で使っていることが多い。後期はHadoopからちゃんと勉強したい。Tableauデータ集計の結果や機械学習の本番デプロイ後の精度やFalsePositiveを可視化するのにちょっと使った。使う機会がないと中々覚えられなさそう。触った技術(業務外)PyTorch以下二つのコンペで使った。画像というほぼ未経験の分野で銀メダルが取れたのでよかった。www.kaggle.comwww.kaggle.comSwift社内ハッカソンでアプリ作成に使った。ハッカソンに参加するなら触ったことのない技術を使いたくてチャレンジ。実装したい処理と関数がほぼそのまま紐づいているのが新鮮だった。www.socym.co.jp感想ちょっと知ってるとか既存の知識の拡大で使えるみたいな技術が多かった。ゼロから始めたのはPHPとSwiftぐらいかも。新しく触ったしそこそこわかるぜみたいな技術を1年の中で最低1つは増やしていきたい。後期が終わる頃にはHadoop周りとPyTorchをそこそこわかるぜと言えるようになっていたい。接続先によって背景を指定する。SSHを終了するとHomebrew背景に戻る。~/.bash_profilesshしてみて確認する。00:39接続先サーバによってTerminalの背景を変えるTweet広告を非表示にするもっと読むコメントを書く2019-03-06「達人に学ぶDB設計徹底指南書」を読んだ読んだ読みました。www.shoeisha.co.jp今後、データマートを作ることがありそうなので読みました(本当はDWHに関する本を探していたけれど良さそうなのが見つからなかった)。真面目に仕事やってれば感覚的に知ってるよね、みたいなことが中心ですが、正規化の章でコラムとしてまとめている言葉がとてもよかったです。常識を定式化することで誰もが利用可能なツールにすることができ、道を外れた設計を防ぐことができるようになります。カラムに配列を持てるのとRDBで木構造を扱う方法は初耳でした。RDBで木構造を扱うのは更新をあまり必要とせず検索中心であればアリなのかもしれない。hogeuser_nameにメールアドレス等が使われている場合、アットマークはhoge%40hoge.comのように%40を使うことでエスケープできます。プロキシの設定だけではCERTIFICATE_VERIFY_FAILEDが発生することがあり--trusted-hostオプションをつけています。Lambdaで読み込むawsParameters周りの話があまり見当たらなかったのでまとめました。下図のようなステートマシンを想定します。select_taskでDB(RDS)からデータをセレクトしそれをinsert_taskでインサートします。このとき、select_taskではParamsSettingsで設定した接続情報を使い、insert_taskではParametersで設定した接続情報を使うことにします。定義は下記のようになります。}}DB接続城はキーバリュー形式でそのまま書くことができますが、select_taskの結果を参照するためには$を用います。"$.select_result"という部分ですが、キー部分にも$を含めないとバリューが変数として見なされず文字列としてTaskへ渡されてしまうので要注意です。Lambda関数ステートマシンで定義した二つの関数です。DBへINSERT処理Parametersで設定した値はeventに格納されておりそのままのキーで読み込むことができます。event['select_result']['select_data']でステートマシンで定義したキーで前のTaskの結果を読み込むことができます。まとめParametersで新しく設定する値自体は単純に読み込むことが可能ですが、前のTaskの結果を参照する場合には$を使う必要があるので要注意です。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。