元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。MLlib第5回はSparkSQLです。SparkSQLのメモSparkContextオブジェクトをラップしたSQLContextを作成する例ではParquetフォーマットのデータを取り扱うParquetフォーマット化されたWikipediaのデータからberkeleyという文字列を取り出すParquestファイルの読み込み結果の戻り値はSchemaRDDSchemaRDDは通常のRDDと同じ関数を全て持っているカラムの名前や型などの情報を保持しているため、テーブル登録を行った後にSQLクエリを投げることができるようになるSQLの結果は常にRowオブジェクトのArrayRowオブジェクトを通じて、各カラムにアクセスできるSchemaRDDを作ってしまえばSQLが使えるので非常にETL処理が簡単になりますね。結果をまたRDD化して他に処理に渡していけばいいのかな、と。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。