hadoop概要PythonでHDFSの操作をしたかったので、pyarrowに入っているclientを使ってみる。類似のライブラリは他にもいろいろあるけど、pyarrowはその中でもメンテナンスが活発に行われている方なので安心感がある。下記のconnectメソッドを呼び出してHDFSに接続する。extra_conf=None)driverにはデフォルトのlibhdfsか、hdfs3をインストールしていればlibhdfs3を指定することもできる。今回はデフォルトのlibhdfsを利用する。pa.hdfs.HadoopFileSystem.connect()fs.ls('.')mkdirmkdirはrecursiveにディレクトリ生成を行う。['hdfs://localhost/user/masato.watanabe/foo/bar']uploadlocalのファイルをhdfsにuploadする。事前にuploadするファイルを作っておく。foo.txt生成したファイルをopenして、引数1にuploadする先のパス、引数2にstreamを指定してfs.uploadを実行する。['hdfs://localhost/user/masato.watanabe/foo/bar/foo.txt']downlaodHDFSからlocalにファイルをダウンロードする。statinfoはHDFS上のファイルの各種情報が取れる。statはファイルサイズと種別(ファイルかディレクトリか等)のみ取れる。