kaggleコンペのタイトル取得(追記:他のデータも取得するようにした。スマートフォン用の表示で見る主に自分のメモ用途。この広告は、90日以上更新していないブログに表示しています。2018-09-24kaggleコンペのタイトル取得(追記:他のデータも取得するようにした。kagglekaggleコンペについての参加者の取り組み(コメントとか、機械学習関係のコードとか)を調査研究しようと思い、ひとまず、コンペのタイトルを取得するコードを書いた。このページの下部にも記載したし、以下のGitHubにも記載している。GitHubまた、後述しているが、タイトル以外の他のデータ(説明文、締切、カテゴリー、賞金、チーム数、タグ)も取得するバージョンも作った。具体的には、以下のGitHubを参照のこと。主要フレームワークとしてSelenium、driverはChromeDriverを使っている。TwitterでAPIの存在を知ったが、Selenium使ったほうが自由度は高い。サイトアクセスの紳士協定(頻度や回数)には気をつける必要があるが。requests"と出てしばらくアクセスできなくなる。当該ページに対応できるようにした。Chromeなどのデベロッパーツールなどで調べられる)タイトルと同様に、find_element_by_xpath()などで取得すればよい。(追記:一部は、find_element_by_xpath()ではなく、find_element_by_css_selector()で取得しないといけない。XPathが長すぎるのが原因かも。)もしくは、page_sourceメソッドでページソースを取得して、正規表現などで必要な要素を抽出してもよい。追記:タイトル以外の他のデータ(説明文、締切、カテゴリー、賞金、チーム数、タグ)も取得するバージョンも作った。具体的には、以下のGitHubを参照のこと。GitHubデータ取得してみて思ったけど、20180924現在まで(約8年間)に、約300タイトル出てるんだなあと。kaggle立ち上げ当時は、賞金も参加チームも少なめだなあと。#この数値が小さすぎると、2行下の判定で誤判定が起こり、最後までスクロールできない。break#ディレクトリ名やファイル名は適宜変更してください。print("\npdfを選んで、印刷(pdf保存)してください。印刷後、ブラウザを閉じます。04:17kaggleコンペのタイトル取得(追記:他のデータも取得するようにした。)Tweet広告を非表示にする関連記事2018-03-04機械学習のパラメータチューニングなど(ポエム感強し)機械学習のパラメータチューニングをするには、各パラメータの...2018-03-04savファイルをRとPythonで開く。»プロフィールid:DS_REG_20170701役に立つメモ書きを。sklearn-likeな書き方の例Pythonを用いた最適化に関してサンプルサイズ関係の本などを漁って斜め読みした話。word2vecというか、gensimの使い方Pythonのスライスの仕様について自分なりに考えた。kaggleコンペのタイトル取得(追記:他のデータも取得するようにした。インストールos.nice(increment)kaggleはじめました。論文の読み方ベイズ更新について速習したければ、これを読め。教材まとめPyAutoGUIをちょっと使ってみた。機械学習のパラメータチューニングなど(ポエム感強し)savファイルをRとPythonで開く。月別アーカイブはてなブログをはじめよう!DS_REG_20170701さんは、はてなブログを使っています。あなたもはてなブログをはじめてみませんか?はてなブログをはじめる(無料)はてなブログとは主に自分のメモ用途。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。