男のブログ俺は中卒だ。学歴なんて無くても生きていける。プログラミングpythonsuckamonデータ分析における、データの前処理として前回は欠損値の扱いについて説明したが、今回はデータセット内で重複するデータを除去するpandasのメソッドについて詳しく紹介する。下記のようなデータフレームがあったとする。4末尾2行のデータが重複したテスト用データセットだ。重複を確認するduplicatedメソッドデータフレームのduplicatedメソッドは、重複したデータがあるか(同じ値を持つ行が前にあるか)を真偽値のシリーズで返す。boolまた、関連メソッドとしてdrop_duplicatesメソッドがあるが、これは重複する行を削除したデータフレームを返す。先述の真偽値でFalseの行のみを取り出すということだ。4通常、duplicatedメソッド、drop_duplicatesメソッドは重複するデータの最初の行を残すようになっているが、オプション値の指定により最後の行を残すこともできる。bool重複の検出対象を任意の列に指定するduplicatedメソッド、drop_duplicatesメソッドは、どちらもデフォルトでは全ての列が同じ値の場合を重複とみなすが、重複の検出対象を任意の列に指定することもできる。複数のデータフレームをインデックスによりマージ...2019年7月23日Pythonのエラーと例外処理2019年8月23日pandasでHTMLを読み込みスクレイピングをする方法2019年8月18日pandasで使える数学・統計用メソッドプロフィール中卒男15歳で熊本から単身大阪へ渡り、囲碁棋士になるための修行を積む。その後、紆余曲折ありプログラミングを学び職とする。現在プログラミングや統計、機械学習の勉強に合わせ、双子の育児に奮闘中。