Glueを業務で触ったので、それについて簡単に説明していきたいと思います。Sparkで処理するためには並列分散処理を意識することも必要ですが、Spark用のPySpark、GlueのカスタムETLライブラリの知識がないとGlueの性能を出し切れないようです。Glueを利用してJSONLからParquetに変換した際の手順などを記述しています。catalog/Crawl機能は利用せずに、ETLのJobを作成するだけで利用できます。