投稿一覧2018.05.07Pythonで証券会社からスクレイピング(データ整形編)前回のおさらい。前回はスクリーニング結果をスクレイピングによって取得するところまで行ないました(スクレイピング編)。このままでは必要なデータと不要なデータが同じセルにはいっていたりとデータを上手に扱うことが出来ません。そこで、pandasの基本的な機能を使いながらデータの整形を行ないます。raw_data[1]まず、取得したデータにはいくつかのデータフレームがはいっていますが、目的のデータは2つ目にはいっているので、その部分を取り出します。(+1.16%)上記のようなデータになっていると思います。銘柄には取引市場と銘柄コード、銘柄名が一緒に入ってしまっています。現在地の部分には、現在地の他に取得時間と騰落率がはいっています。実際にスクリーニング結果にもこれらの要素は同一セルにはいっているため、分離する必要があります。銘柄コードと銘柄名の取り出し銘柄コードと銘柄名を取り出していきます。取引市場はすべて*〇〇の形式で表示されており、東証一部なら*東1、JASDAQなら*JQといった具合になっています。"price"]そこで、まず銘柄コードはセル内の4文字目から7文字目に表示される部分であることが分かるので、その部分をnumberとして取り出します。次に7文字目以降の文字列が銘柄名になっているため、nameとして取り出します。現在値のセルはそれぞれスペースによっと区切られているため、スペースで別々のセルに区切ります。最後にそれらをあわせて一つのデータフレームとし、それぞれの列に名前をつけると自分がスクリーニングをかけた株の銘柄コードと名前、現在値のはいったデータフレームを得ることができます。