pandas」をモチーフに使って実際に動作させ学習する。blogPandasとは、なにか?初め考えていたのは、EXCELシートも扱えるPython版スプレッドシートライブラリ。VBAの代わりにマクロをPython上で実行できる便利なものと考えていた。Pandasを実際に使ってみると始めて使ったのは、テキストデータをEXCELのxlsxに変換しておきたかったから。実際に変換してみると思ったより難しい(実際には、我々がEXCELを表計算としてとらえていなくて計算機能と印刷機能を持つワープロとして使っているのが原因)。Pandasも高機能なので出来ることが多く大いに迷ったが、それでもEXCELファイルの書き出しに成功したのでこれは便利だ!ということでこれを機に少し使ってみようと考えた。pandas」を実際にやってみるPandasを覚える!さて、グーグル先生に教えてもらえば大抵のことは分かるのだが、それが今の最適解なのか?と考えるとそうではない。グーグル先生のサーチ機能は、カンニングペーパーであり、単語帳である。欲しい答えを最小ステップでたどり着くための方法。例えるなら、望遠鏡、又は顕微鏡で拡大されたエリアで見つけた希望(答え)。なるのか?なぜそう書けば動くのか?など、答えに対する成り立ちがすっぽり抜けてしまうのである。Notebookで敷地も下がって来ている。入門書や学習本を眺めて図を見てなんとなくへーとか言って分かった気になって何も残らないパターンになりかねない。Notebookを使い実行していってみようと思う。これにより、学習講座のWorkshop形式で講師が腹痛で欠席したので自己学習してなさい版くらいの知識に残ることを期待。実行した結果をここに残し、その時のメモ書きとエッセンスと晒してみる。(3/6)4.欠落データPandasは主にnp.nan欠損値を表すために値を使用します。デフォルトでは計算に含まれていません。欠損データセクションを参照してください。インデックスを再作成すると、指定した軸のインデックスを変更/追加/削除できます。これはデータのコピーを返します。NaN【解説】reindexを使ってindexとcolumnをリビルドしている。NaN【解説】ラベル(.loc)を使って行選択し'E'列に1を代入データが欠落している行を削除します。1.0【解説】dropnaを使ってN/Aを落としている。してのNaN以外に、取り込んだデータがNaNである理由は、測定ミス、測定忘れ、記録忘れ、データが飛び値になっていて明らかに記録読み取りミスなどいろいろ考えられるがこういう値に対して適当に自分に都合がよい値を入れてしまうことを改竄といいます。学校の先生方は、よくテスト問題でこれを実行してテスト問題を作ってます。あれは、都合の良い答えを作ってそれをもとに問題を作成していく手法なのかもしれませんが(いやいやあれは、合わせこみっていうものだよ!)。話がそれました欠落データを埋める。5.0【解説】df1全体からNaNを探しvalue値を代入する。【余談】Seriesや、DataFrameにするデータのNaNの扱いは注意しましょう。Pandasは、NaNの扱いが上手みたいなのでいろいろできます。NaNの値をどういう理由で変更するのかソースコードにコメントとして残していくのがベターと思われます。True【解説】isnaを使い。Number"とちがうじゃん!と思うのですが適応範囲外の値ということでは同じなんでしょうね。False【解説】ちなみにnotnaは「NaNじゃない」です。5.操作バイナリ演算の基本セクションを参照してください。一般的な操作は、欠けているデータを除外します。