Bookmarkの使い方SHAREtwitterfacebookはてなブックマークpocket実際にETLで処理するケースとしては、1日1回定期的に処理するなどのケースが多いと思います。この場合、追加分のみを抽出してETL処理をする必要があります。Bookmarksという機能があります。Bookmarksを使ってみたいと思います。確認用のETL処理S3に配置したapacheのアクセスログをparquet形式に変換します。以下のようなフォーマットのapacheログをそれぞれ10行程度ずつ2ファイル用意します。6.0)"1S3にapacheのアクセスログを配置S3にbucketを作成し、準備で作成したファイルの一つ目をアップロードします。2Crawler設定、実行1で作成したS3用のクローラーを設定して実行します。Job」をクリックしてJobを追加します。BookmarkをEnableに変更します。それ以外については環境に応じて設定してください。bookmarkについては、以下の設定値があります。デフォルトはDisableになります。前回実行した以降のデータを処理するが、状態を更新しない※Pauseはどういう時に使えばいいかが分かっていません。Jobの設定が完了したら、実行してください。上記でJobが正常に実行されたら、変換後のデータを確認します。変換先のS3用のクローラーを設定します。以下のようにクロール対象から_common_metadataと_metadataを除外するようにセットします。クローラーを実行後、AthenaからSQLを実行してデータが変換されていることを確認します。今回は1つ目のファイルにはアクセスログを10行用意しました。5S3に追加のログをアップロード準備で作成したapacheログファイルの二つ目をソースとなるS3にアップロードします。再度、同一Jobを実行します。上記Jobが正常終了したら、Athenaから4で確認したの同様のSQLを実行して増分のみ追加されていることを確認してください。BookmarkがDisableの場合は、再実行時に全件処理されてしまいます。Bookmarkの設定値を再確認してください。Bookmarkについては、ソースがS3のときのみ利用可能となっています。RDSなどのDBの場合については、処理のなかでフィルタする必要があります。実際にBookmarkを本番で使うには、ジョブがエラーとなった場合などどのようにリトライするかをしっかり想定しておく必要がありそうですね。敏貴クラウド業界に興味を持ち、業務系のアプリエンジニアからインフラエンジニア見習いに転身しました。日々新しい技術に触れることができる環境でもがきつつも楽しい毎日を過ごしています。S3をはじめとするAWSの各種プロダクトを利用する際の、導入・設計から運用保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365日の監視/障害対応、技術的な問い合わせに対するサポートなどを行っております。AWS上のインフラ構築およびAWSを活用したシステム開発など、案件のご相談はcloudpack.jpよりご連絡ください。cloudpack.。