*/スマートフォン用の表示で見るわかめの備忘録2019-10-29is_kaggle_kernel()という関数を作ったよという話KaggleTweetこれがis_kaggle_kernel()という関数。環境変数を見て該当するkeyがあるかどうかを見てるだけ。Kernel上でもTrueになることを確認しています。Notebookタイプでの環境変数を見て共通する部分を抽出しました。22:38is_kaggle_kernel()という関数を作ったよという話Tweet広告を非表示にするコメントを書くもっと読む2019-10-10EPUB形式の電子書籍を読むときにGooglePlayBooksを利用すると便利だったという話Tweet前置き先日話題の新書である「Kaggleで勝つデータ分析の技術」を購入しました。Publishing」、技術評論社の電子書籍販売サイトから購入しました。gihyo.jpこちらで購入した理由としては以下の2点が決め手でした。前置きはこの程度にして本題に移りますと、せっかくEPUB形式の電子書籍を手に入れたのでいい感じの読書ツールで読みたいというのが今回の趣旨です。結論はタイトルに書いてるとおりで、GooglePlayBooksが便利でした。support.google.comやり方としては自身のGooglePlayBooksにファイルをアップロードして、読みたい端末(PC/スマートフォンなど)で読むだけです。PCで読む場合はこんな感じで読めました。蛍光色でマークがついてる行がありますがそれはスマートフォンでつけたメモが共有されているためです。こちらAndroidで読む場合です。一般的な読書ツールにあると思われる機能、目次ジャンプやしおり、メモ、文字サイズの変更、キーワード検索などは搭載されていました。UIも結構こっていて読むのにいい感じでした。以上です、EPUB版を買った人の参考になれば嬉しいです。#9にブログ枠で参加してきました。mlct.connpass.com当日の撮影していた動画がYoutubeにアップロードされたようなのでリンクを貼っておきます。www.youtube.com当日の会場はこんな感じでした、結構早く到着したのでガラんとしてる。会場は株式会社メルカリでした、会場提供ありがとうございます。押すと商品が無限に出てくる販売機。軽食、ごちそうさまでした。参加してきました!Tweet広告を非表示にするコメントを書くもっと読む2019-05-03「KaggleのKernel機能をうまく使いこなそう」の補足説明KaggleTweetはじめにKernelの便利な使い方・機能の紹介Markdownで書いた見出しを自動的に目次へ変換Kernelの出力結果を別Kernelから参照できるはじめに先日こちらのもくもく会に参加させていただきました。ailounge.connpass.comもくもく会併設のLTに参加し、当日が2019年4月30日だったので平成最後のLTをやってきました。当時LTに使った発表資料はこちらになります。docs.google.com発表ではKaggleのKernelを使った便利な機能を紹介しますという話をしました。具体的にはこれらの機能について話しました。上記アンダーラインを引いた2つの機能について当日あまり詳しく話せなかったので後日ブログのほうで詳細に説明しますと最終スライドでお約束しましたので、今回の記事は上記機能の詳細説明の記事になります。タイプと3種類存在しますが今回はNotebooksのみを対象として話を進めます。Notebooks同様、コードを書けるセルとMarkdownを書けるセルが分かれています。Markdownの見出し(#)を書くと自動的に目次として認識してNotebooks左欄に該当する目次へジャンプするリンクを生成してくれます。Notebooks左欄に該当する目次というのは下記スクリーンショットの赤枠で囲った部分です。こちらをそれぞれクリックしますと下の例のように該当する目次へジャンプすることができます。Notebooks内はどう記述されてるのと疑問に思うと思いますのでMarkdown編集時のスクリーンショットをとっておきました。Notebooks内で見出しが一番上位の見出しのみが目次に設定されるという仕組みになっています。見出し同士が重複すると最初に見つけた見出しについてジャンプするようになるので、ユニークな文字列を設定することをオススメします。スクリーンショット撮影時に使いましたKernelのリンクを一応貼っておきます。www.kaggle.comKernelの出力結果を別Kernelから参照できる普段リーダーボードへのスコア投稿はKernelの実行後、submission.csvがOutputに出力されるのでそれを投稿していると思います。そのsubmission.csvがKernelの出力結果になります。この出力結果を別のKernelから参照できるようになるということですが我々にとって何が嬉しいのか、以下の点が挙げられると思います。前処理の途中経過を一時ファイルとして出力することで前処理にかかる時間をスキップできる学習済みモデルを途中経過として吐き出すことでKernelは予測のみに集中することができるでは具体的にどうやるのかスクリーンショットを交えながら説明します。Kernelの出力結果が存在するKernelを準備しておきます。今回は公開Kernelを利用します、もちろん自分で用意したKernelでも問題ありません。Datasetを押してください。こんな画面になると思います、こちらの画面から参照したいKernelを選びます。Petfinderの公開カーネルを選んでみます、赤枠で囲ったAddを押してみます。追加後Notebooksに戻ると、Workspaceの部分に追加したKernelのタイトルが表示されていると思います。これで参照できました。../inputを実行すると追加したKernelのタイトルが設定されたディレクトリが見えると思います。参照出来ていることが確認出来ました。最後に、上記のようにKernelを参照すると元々../input/train.csvのように参照していたファイルパスが変わってしまうので適宜修正するようにしてください。基本から応用まで」という講座を現在受講中で、受講中に気になった・気をつけたほうがよいことをまとめたいと思います。現在受講中なので随時更新してゆきたいと思います。www.udemy.com全体的に講座の愚痴みたいになっていますが講座自体の評価は素晴らしいと感じています。前置きで書いておけば、早めに言ってもらえればそんなに気にならなかったのになと思うところが少々ありました。これから講座を受けようと思っている方や私と同じく受講中の方になります。受講中気になったこと音量が小さい収録環境の関係か講師の方の声がとても小さく、特に講師の方が推奨されていた通勤時での受講(特に電車内)は可能ですが周囲の雑音が大きすぎて聞き取りにくいなと思いました。小さいなら音量上げればいいじゃんと思いますが、最大音量まで上げてもなお小さいなと思うレベルなので。53でドメイン名とロードバランサのIPアドレスとの関連付けをするのですがこちらの関連付けに結構な日数を要するようなのです。講師の方の場合2-3日かかったとおっしゃっていました、そのくらいかかるなら先に言っておいてほしかったなと。ちなみに私の場合そこまで時間がかかりませんでした。PythonTweetこんにちわ&こんばんわ、わかめです。regonn-curry-fmを視聴されてる方はご存知かもしれないですがregonnさんが現在開発中のOSS、polar_bearに絶賛OSS活動中です。github.com今回はそのOSS活動中に初めて知りましたGithubのREADMEへのBadgeの設定方法についてまとめます。polar_bearはPythonのライブラリということで主にPythonに関連のあるBadgeの設定方法についてのみ言及したいと思います。PyPIPyPIでの公開が完了している場合、パッケージ名を入力するだけで下記のようなBadgeを作成してくれるようです。生成されたMarkdownに記述されるBadgeへのURLがPyPIへリダイレクトしてくれるようです、試しに上のBadgeをクリックしてみて下さい。version](https://badge.fury.io/py/polar-bear.svg)](https://badge.fury.io/py/polar-bear)badge.fury.ioPythonVersionこちらもPyPIでの公開が完了していれば、パッケージ名を入力するだけでライブラリが対応するPythonのVersionをPyPIから取得してBadgeを作成してくれるようです。通して気づいたこと最後にはじめに去年の10月頃に転職を果たし、勤務先が渋谷になったので今まで参加できなかった勉強会に積極的に参加しようという気持ちで今回も参加してきました。mixi.connpass.com実は「みてね」というサービス自体、独身で接点がないためこのMeetupで初めて知ったという経緯があります。いう発表がお仕事の内容にも近い分野でとても勉強になりそうだと思ったからなのです。概要みてねの概要となぜこのサービスを始めたのかを語って頂きました。子どもが生まれたことがきっかけ、子どもが生まれると「え!?こんなに写真・動画撮影するの!」ってくらい撮影する。その撮影した大量の写真・動画をどこに保存して、どうやって家族間で共有するか、簡単に保存できて共有できる専用のサービスは現状・・・ない、じゃあ作ろうとなった。順調なユーザの増加、世界共通で子どもの成長を見守りたいというニーズがある。感想みてねのサービス愛が伝わってくる発表でした、みてねに対する愛情や熱い想いを持ったメンバーが集っているのだなと感じました。スライドにも記載されていた「その子の人生もまるごとを残せる」というキーワードが特に心打たれました。「みてね」には現在基本機能の写真・動画の共有以外に以下のような機能があるようで、今回はその中から1秒動画のつくりかたについて要素毎に発表者に語って頂くという内容でした。当日の発表全体の流れを説明して頂きました。毎月撮影した写真をフォトブックにまとめる撮影した写真・動画をまとめたダイジェスト動画(1秒動画)撮影した動画をDVD1枚分の内容になるように選んで提案するスライド(14枚目参照)そのままですが以下の流れで動画を生成しているようです。気になるワードがたくさんありました。BGM検出については絶対聞いておきたいと思っていたのですが、最後ににも書きましたが当日体調不良で聞く前に帰宅してしまいました。機会があったら聞いてみたいですね。発表資料speakerdeck.com概要1秒動画のつくりかた・概要編で紹介された「メディア解析」部分の発表でした。アップロードされた写真・動画に家族の顔が写っていないものは1秒動画の素材から除外したい、またちゃんと顔が写っているかを検出したい。満たしたい要件は以下の通り。Detectorを利用。選択理由は以下の通り。0.858)Caffe実装で1枚検出するのに0.8秒かかるため10倍の高速化が必要。予測スピードの改善・インフラ構築、お一人でやられているという発表だったのでただただすごいなと。GPUを惜しまずに使っている印象を受けました、フォトブック・DVD作成以外の課金要素で採算とれているんだろうかという疑問が残りました。顔認識の精度自体の改善の話はなかったので運用でカバーしてるのだろうか。適合率が低いと顔認識の結果としては致命的かなと思ったが、そもそも家族の写真・動画で顔が写っていないものをアップロードしないのでは?と思った。インターン時代から、みてね開発。2019年2月13日また、僕のちょっとした疑問ツイートにも反応して頂けたのはとても嬉しかったです。最後に懇親会で頭に浮かんだ疑問を発表者の方々に聞こうと質問を用意しておいたのですが、当日急に体調が悪くなってきたので懇親会参加できずに帰宅してしまいました。機会があれば聞いてみたいです!忘れないためにも下のほうに書き出しておきます。あとで見た懇親会でのお寿司とピザの写真。PythonTweetこんにちわこんばんわ、わかめです。Kaggleに影響され、最近AtCorderに参加するようになりました、今回で2回目ですね。atcoder.jpとりあえずAとBはすぐ解けるようになりましたがCが未だに解けない状態が続いています。当時書いたコードやログを残しておきます。A問題の通りに実装しました。Everyone積集合をとって残ったものを数えたほうが早いと思いました。公園コンペに参加し結果24位でした。signate.jp今更このコンペの終了報告を書くことに至ったのはSIGNATEにもメダル要素が導入されたからです。詳しくは次のリンクを参照してください。signate.jp24位にも関わらず銀メダルを取得したわけですが、参加者124人中の20%が銀メダル圏内なわけでだいぶギリギリのラインだったようですね。解法についてはupuraさん作成のTogetterにまとめられていますのでそちらをご覧下さい。togetter.com一応総括しておきますとちゃんとクロスバリデーションしろということですね。あとLBは参考程度に留めておけもですね。コンペで24位でしたTweet広告を非表示にするコメントを書くもっと読む2019-02-12Googleポッドキャストを使ってregonn&curry.fmを購読してみるTweet皆様こんにちわこんばんわ、わかめです。最近こちらのPodcastの配信を楽しみにしています。www.currypurin.comどうやらこちらのGoogleポッドキャストアプリで聞けるようなのでダウンロードしてみました。play.google.comGoogleポッドキャスト使用感こんな感じ。配信内容の概要が表示されました。UIもシンプルでいい感じです!倍速が最大3倍まで設定できるようです。これでAndroidでもPodcastを聞けるようになりました、ありがたいことです。00:34Googleポッドキャストを使ってregonn&curry.fmを購読してみるTweet広告を非表示にするコメントを書くもっと読む2019-02-07ネット生活で便利なプラグイン・ツールを紹介してみるTweet随時更新中タイトルの通り普段使っているプラグイン・ツール等を紹介してみます。SNStweetdecktweetdeck.twitter.comTwitterのタイムラインを複数開きたいと思ったことはありませんか。検索キーワード毎やリストなどをそれぞれ1タイムラインとして扱うことができます。それらを横に並べて表示することができてとても便利です。ChromeプラグインOneTabchrome.google.comChromeのタブが無限に増え続ける人にオススメです。無限に存在するタブを1つのタブに集約し、1タブを1リンクとしてまとめてくれます。23:02ネット生活で便利なプラグイン・ツールを紹介してみるTweet広告を非表示にするコメントを書くもっと読む2019-02-052月4日を1月35日という表現に変換するスクリプトを作ってみるPythonTweet一発ネタです。関数名は僕の夏休みの8月32日バグからお借りしました。pandasTweetTwitterで流れてきたこちらの問題についてちょっと調べてみました。現状の解決策はpyarrow.feather.read_featherを使うもしくは、featherのread_dataframeを使う調査まとめ以下上の問題を受けて調べたことをまとめました。現象の再現ツイートの件、再現するかを確認しました、確かに再現しました。gist.github.com原因調査サクッと調べたらこんなissueを見つけました。read_feather側で残したままにしたのが原因。詳細もう少し具体的に言うと、pyarrowのversionが0.10.0から0.11.0へ上がる際に以下のような変更が発生している。read_featherfeatherのread_dataframeをそのまま返していることがわかります。read_dataframeこちらはpyarrowのread_featherを返しています。read_featherまとめるとこんな感じの依存関係になっています。いうわけでpyarrowの変更がpandasにまで波及したことで、tl;drに書いた状況になってしまったということです。この調査結果からfeatherを読み込むのにわざわざpandasのread_featherを使う必要はなく、pyarrowのread_featherを使えばよい。pandas(0.24.0rc1)がプレリリース版として上がっていたので修正されているか調べてみました。結果読み込めることが確認できました、次のバージョンが待ち遠しいですね。0.24.0rc1のwhatsnewから今回の変更点を列挙してみました。GH23053).どうやら依存関係を下記画像の1から2へ修正した模様。(GH23053)pandas.pydata.orgおまけところでpandasのwhatsnewに面白い一文があったので紹介します。2へのサポートは今年中、もしくは来年あたりに切られそうですね。pandas.pydata.org以上です、ありがとうございました。時系列分析Tweetupuraさんの記事でツイートを取り上げてもらいましたが日本の祝日の特徴量を作る場合、下記ライブラリを使うと便利です。pypi.orgこちらの記事で使い方等簡単に説明されています。upura.hatenablog.comでは日本以外の祝日の特徴量作るのはどうすれば?ということでこのようなライブラリがあることを知りましたので紹介いたします。github.comサンプルデータはupuraさんの記事から使わせていただきました。14:40世界各国の祝日特徴量を作るTweet広告を非表示にするコメントを書くもっと読む2018-12-312018年を振り返るTweet皆様こんにちわ、こんばんわ、わかめです。今年起きたイベント、主に仕事関係を箇条書きで書き出して振り返ってみます。派遣会社から転職ゲーム開発・Vtuberとかやってる会社に転職する←???2018年11月頃Signateに挑戦する→残念ながら結果出せず勤務先渋谷なので勉強会に顔を出し始める去年の振り返りをやっていないので比較できないのですが、個人的に去年よりいろいろアウトプットできたなぁと思う2018年でした。ブログさぼりがちだったので来年は1ヶ月に5記事くらいは書いていきたいなぁと思います。今年目標にしていた統計検定2級の合格をさっぱり忘れてたので来年こそは取得を目指そうと、あとKaggleのメダル1枚は確実にとりたいですね。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。