コマンドを使いますよね。HDFS上のファイルの行数を数える時は何が良いのか考えてみました。Pigだと次のような感じです。出力を一度ファイルに書き出す必要があり、膨大なファイルを扱う際に時間がかかります。比べてかなり速くなります。置いておくと幸せになれるかもしれません。/bin/wcという記述が見られますが、これだとおそらくファイルIOに加えてネットワーク転送まで発生するので不適切だと思います。PigでNULLを扱う場合の挙動まとめ※このエントリーははてなダイアリーから移行したものです。(a_bicky)都内のソフトウェアエンジニア。使ったサービス開発に従事。っぽいこともやったり。R言語上級ハンドブック共著者。