医療職からデータサイエンティストへ医療職からデータサイエンティストへ統計学、機械学習に関する記事をまとめています。Pythonで前処理〜Pandasによる文字列処理まとめ〜2020-07-12Pythonで前処理〜Pandasによる文字列処理まとめ〜PythonPandasで前処理を行う際に、文字列の処理に戸惑うことがよくあります。今回は、よく使いそうな文字列処理の方法をまとめていきます。ちなみに前処理全般については過去にまとめましたので、よろしければご覧ください。文字の加工まとめ参考データの作成まずは今回文字列処理を行うためのデータセットを作成します。ありがちな、一つのセルに複数の単語が入っていたり、大文字小文字なども汚いデータを想定します。Pnadasで文字列処理を行うためには、strアクセサを使います。使い方はSeries.str.hogehogeです。基本的にはPandasのSeries形に対して処理を行います。基本的な操作をやってみましょう。次に指定の文字列を結合・分解して新たな列として追加してみます。この辺りはデータの前処理ではよく使います。文字列の分解では、expandを指定すると、結果をSeries型とDataFrame型で指定できます。文字列を分解#register列とfruits列を結合#sepは結合させる文字#na_repを指定すると欠損値も扱える。',na_rep='欠損です。object#register列を改行\nで分解#expand=Trueは結果をデータフレーム型で返す。次に指定の文字列を含むかどうかの判断させたり、抽出したりしてみます。str.containsとstr.extractでは正規表現が使えます。NaN#列名を指定して抜き出し#(?P<列名>hogehoge)とする。最後に文字を置換したり、長さをそろえたりしてみます。str.pad():文字の長さを揃える。str.replace:文字の置換>数字を抜き出し、3文字になるように左側を0で埋める。objectまとめPythonではstrアクセサを使うと簡単に文字列処理を行うことができます。自然言語処理などでは役立ちそうですね。※本記事は筆者が個人的に学んだこと感じたことをまとめた記事になります。所属する組織の意見・見解とは無関係です。12:41Tweet関連記事2021-04-18pythonで層別、グループ別グラフを作成するデータの可視化をする上で、性別ごとのヒストグラムや、年代ご...2021-03-20そろそろ覚えるRで縦持ち横持ち変換〜pivlot_loger、pivot_wider〜Rでテーブルを縦持ち、横持ちに変換したい時、以前は、spreadや...2020-06-21Pythonが遅いと感じたら!見直すべき高速化のポイントPythonはrに比べると処理速度が速いと言われています。学んだこと、日々の所感をまとめていきます。※本ブログは筆者が個人的に学んだこと感じたことをまとめたブログになります。所属する組織の意見・見解とは無関係です。medi_data0826引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。