スケジュール実行を開始する。インスタンスのロックを取得する。インスタンスのロックを取得しようとしてロック取得待ちの状態となる。ロックを取得しようとしてロック取得待ちの状態となる。間で、デッドロックが発生する。間でデッドロックが発生する可能性があるようでした。運用することにしました。クラスタからデータを抽出・分析できるようになっています。発生事象ユーザから「クエリの実行が完了しない」という問い合わせを受け、原因を調査することにしました。なり、クエリの実行が完了しない状態となることがわかりました。おけるクエリ解析・最適化の段階で処理が止まっているようでした。使用率が高いのか?」を、以下のようなコマンドを実行して調べることにしました。使用率が高くなっていることがわかりました。いうスレッドでメモリが大量に消費されていることがわかりました。内容は、以下の通りでした。メイン処理が行われるもののようでした。内容の中でorg.apache.spark.sql.execution.OptimizeMetadataOnlyQueryというクラスが気になり、ソースコードを見てみると、以下のような記述がありました。いずれかに合致する集計が実施されるクエリについては、実際のデータファイルへアクセスするのではなく、パーティションのメタデータのみを使ってクエリの検索結果を算出するような最適化が実施されるようでした。ときにこの最適化が実施されるようでした。ため、デフォルトの挙動ではこの最適化が実施されるようになっていました。頻発してクエリの実行に時間がかかるようになっていました。設定することで、今回の最適化が実施されないようにしました。コミュニティへの働きかけ、などが重要になります。コミュニティへの働きかけ・貢献に関しては、今後より一層積極的に行い、我々の経験・知見をフィードバックしていきたいと考えています。さんによる「LTOドライブを使ってみた」です。Developers日本語English。