Cloudでサービスを運用するにあたって必要となる、さまざまな概念やツールについて記述します。本ページの記述は、前項「サービスの開発」を読了し、サービス開発に関する概念や機能について理解していることを前提としています。サービスの運用の前にログレベルの決定サービス実行ツールにより、実行スクリプトの「ログレベル」が設定できます。運用時の推奨ログレベルは「INFO」です。低いログレベルほどXMLログに出力される内容が詳細になりますが、その分ログファイルのサイズも大きくなります。ファイル肥大化によってディスク容量が圧迫されると、システムの稼働へ影響を与えるため、要件や環境に合わせたログレベルの選定が必要となります。XMLログを出力しない設定にした場合でも、ダンプファイルは出力されるため、ディスク容量が気になる場合は、XMLログを出力しない設定にすることも検討してください。開発環境で作成したサービスを、テスト環境や本番環境に移行する際には、「サーバ移行」という機能を使用します。本番環境が開発環境やテスト環境と同一の筐体である場合には、サーバ移行を行う必要はありません。サーバ移行の流れ移行できる設定サーバ移行の流れサーバ移行の流れは以下の通りです。移行元のサーバから設定をエクスポートする移行先のサーバに必要な設定を行う以下の設定はサーバ移行対象外であるため、必要に応じて移行先のサーバに用意しておいてください。移行先のサーバでエクスポートしたZIPファイルをインポートする移行できる設定サーバ移行で移行対象となる設定は以下の通りです。それぞれ個別に選択し、移行することができます。休日設定カレンダープロジェクトアプリケーションログ出力設定グローバルスキーマサーバ移行機能で設定を移行する際、権限の移行が必要なものについては権限も移行されます。移行先のサーバに該当のユーザが存在しない場合には、移行を行ったユーザが所有者として移行されます。エクスポートの詳細については、「サーバの移行(エクスポート)」を、インポートの詳細については、「サーバの移行(インポート)」を参照してください。Cloudには、さまざまなログファイルが存在します。運用の方針や状況に合わせてログファイルに出力されるログレベルの基準を変更することもできます。運用時の推奨ログレベルは「INFO」ですが、より重要な情報のみを出力したい場合には、ログレベルを一段階高い「NOTICE」に変更したり、より細かい情報が必要な場合には「INFO」より低い「FINFO」以下に変更したりするなどが考えられます。ログレベルが「INFO」の場合、運用時の警告を意味する「WARN」のログが出力され、ログレベルが「FINFO」の場合、「WARN」に加え開発時の警告を意味する「FWARN」のログが出力されます。「WARN」や「FWARN」などのログレベルで出力されるログはエラーではありませんが、運用時、開発時それぞれのフェーズにおいて必要に応じて監視対象としてください。各種ログファイルの詳細については、「ログガイド」を、ログレベルについては、「ログレベル」を参照してください。タスクマネージャタスクマネージャでは、スクリプトプロセス実行状況やDataSpiderServerのメモリ使用状況などを確認することができます。詳細については、「タスクマネージャ」を参照してください。障害発生時の対応マイログマイログでは、サービスでエラーが発生した際に、どのコンポーネントでどういったエラーが発生したかを確認することができます。詳細については、「マイログ」を参照してください。メッセージコード各エラーには、必ずメッセージコードが付与されます。メッセージコードをもとに、発生したエラーの内容・原因・対策などを確認することができます。詳細については、「メッセージコード」を参照してください。ログファイルエラー発生時の状況によっては、マイログだけではなく、各種ログファイルに出力されたログを参照しなければならない場合があります。状況に合わせて、参照するログファイルを決めてください。ほとんどのログはサーバログやXMLログに出力されますが、DataSpiderServerの稼働に影響をおよぼすような致命的な問題が発生した場合(OutOfMemoryErrorなど)、標準エラー出力に何らかのメッセージが出力されることがあります。各種ログファイルの詳細については、「ログガイド」を参照してください。メンテナンスログのロールアップ日々運用していくと、ログファイルが肥大化してしまうため、ある一定の基準で削除を行う機能が用意されています。この機能をローテーションと呼びます。日付ディレクトリはデフォルトで本日を除く10日分が保持され、それより過去分は自動で削除されます。サーバログは一定のサイズを超えた場合に新規ログファイルが生成され、古いファイルはデフォルトで5つ保持されます。ローテーションの変更については、「DataSpiderログ設定」を参照してください。ログガイドログファイルの種類と、どのような内容が出力されるかを説明します。ログファイルの種類ログファイルには、以下の種類が存在します。DataSpiderServerのログです。カーネルや各マネージャのログが出力されます。DataSpiderServerプロセスの標準エラー出力をリダイレクトします。/logs/server.error.logログのロールアップは行われません。スクリプトの開始/終了時間や成功/失敗など、スクリプト実行のサマリーが出力されます。/logs/<日付ディレクトリ(yyyyMMdd)>/exec.log日付ディレクトリのローテーションの設定については、「DataSpiderログ設定」を参照してください。スクリプト実行時のコンポーネントのログが出力されます。実行ツールのログレベルによって、出力される内容が異なります。クライアントからDataSpiderServerにアクセスした処理のログが出力されます。/logs/access.log.yyyy-MM-ddアクセスログは標準では出力されません。アクセスログの有効化にはスケールアップオプションが必要です。有効化を希望される場合はサポートへお問い合わせください。アクセスログは日付ごとに「access.log.yyyy-MM-dd」というファイル名でローテーションされます。ローテーションされたファイルは本日を除く10日分が保持され、それより過去分は自動で削除されます。これらシステム側で用意しているログファイル以外にも、出力するログの内容をユーザが自由に設定できる機能があります。詳細については、「アプリケーションログ出力先設定」を参照してください。サーバログDataSpiderServerのログです。カーネルや各マネージャのログが出力されます。スクリプト実行時の内容はサーバログには出力されず、XMLログに出力されます。出力される主な内容は以下の通りです。Container]のサービスを開始しました。Container]のサービスを開始しています。Manager]のサービスを開始しています。Manager]のサービスを開始しました。Container]のサービスを開始しました。12:00:55|INFO|ds.boot|システムのサービスを開始しました。Serverを正常に起動しました。12:03:45|FINFO|ds.kernel.mgr.dpc.pool|GC_ENDサーバ標準エラー出力DataSpiderServerプロセスの標準エラー出力をリダイレクトします。ほとんどのログはサーバログやXMLログに出力されますが、重要な問題が発生してログ出力ができなかったときなどには、標準エラー出力にメッセージが出力される場合があります。execログスクリプトの開始/終了時間や成功/失敗など、スクリプト実行のサマリーが出力されます。スクリプト実行の開始時およびスクリプト実行終了時に、それぞれ1行ずつログ出力されます。マイログの[ログ検索結果]の一覧画面は、このexecログをもとに表示されます。出力される内容は以下の通りです。13:48:05|1|ID=be0000dg6il1i0go0c5rb722hb21|TOTAL=547|EXIT_STATUS=-10101フォーマット例|日時|終了ステータス|実行ID|VMID|実行ユーザ名|プロジェクト名|スクリプト名|種別名|日時|終了ステータス|実行ID|実行時間|終了ステータスXMLログスクリプト実行時のコンポーネントのログが出力されます。XMLログは1つのスクリプトにつき1つのファイルに出力されます。XMLログのファイルはスクリプト実行時に作成され、オペレーションの開始、および終了時にログが出力されます。ファイル名は、実行スクリプトの実行IDです。テキスト形式でのダウンロードは、このXMLログをもとに変換されます。ログの出力内容は実行ツール(デザイナやトリガーなど)で指定したログレベルに依存します。ダンプファイル処理でエラーが発生した際には、スクリプトの実行IDと同一名のディレクトリ下にダンプファイル(dump.xml)が出力される場合があります。例外監視処理の監視処理内のコンポーネントでエラーが発生した場合、そのコンポーネントのダンプファイルは出力されません。データベースアダプタのテーブル書き込み処理や更新系SQL実行処理では、より詳細なダンプファイルが出力されます。<message><![CDATA[[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。<message><![CDATA[[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。繰り返し処理、繰り返し(条件指定)処理、繰り返し(データ件数)処理の開始時に出力されます。繰り返し処理、繰り返し(条件指定)処理、繰り返し(データ件数)処理の終了時に出力されます。開始時に出力されます。終了時に出力されます。コンポーネントアイコン単位の処理開始時間トランザクション処理の開始時に出力されます。コンポーネントアイコン単位の処理終了時間トランザクション処理の終了時に出力されます。監視処理の開始時に出力されます。例外処理の開始時に出力されます。終了時に出力されます。メッセージコード異常終了時のみ出力されます。異常終了時のみ出力されます。エラーメッセージ異常終了時のみ出力されます。異常終了時のみ出力されます。処理全体の終了ステータステキスト形式でダウンロードしたログマイログでは、XMLログをテキスト形式でダウンロードすることができます。[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。ファイルパスが指定されていません。処理全体の終了ステータスアクセスログクライアントからDataSpiderServerにアクセスした処理のログが出力されます。アクセスログの有効化にはスケールアップオプションが必要です。有効化を希望される場合はサポートへお問い合わせください。対象の処理アクセスログには以下のような処理の実行時に出力されます。例:[一時ディレクトリ削除][プロセスの終了][プールのリセット]クライアントからのアクセスではなくDataSpiderServerの内部処理で上記処理が実行された場合は、アクセスログには出力されません。出力される内容は以下の通りです。日時ユーザ名クライアントマシンのIPアドレスアクセスしたツール名ターゲット名(処理の対象を表す文字列)オペレーション名(処理を表す文字列)メッセージメッセージが複数存在する場合、カンマ(,)区切りで出力します。カレンダーが作成された時に出力されます。カレンダーが削除された時に出力されます。カレンダーが変更された時に出力されます。ディレクトリがコピーされた時に出力されます。ディレクトリが作成された時に出力されます。ディレクトリが削除された時に出力されます。ディレクトリがロックされた時に出力されます。ディレクトリが移動された時に出力されます。ディレクトリのロックが解除された時に出力されます。環境変数が作成された時に出力されます。環境変数が削除された時に出力されます。環境変数が再読み込みされた時に出力されます。環境変数が変更された時に出力されます。ファイルがコピーされた時に出力されます。ファイルが作成された時に出力されます。ファイルが削除された時に出力されます。ファイルがロックされた時に出力されます。ファイルが移動された時に出力されます。ファイルが読み込まれた時に出力されます。ファイルのロックが解除された時に出力されます。ファイルが書き込まれた時に出力されます。ファイル/ディレクトリのグループが変更された時に出力されます。以下のプロパティの設定を変更せずに[了解]または[適用]ボタンを押下した場合にも出力されます。グループが作成された時に出力されます。グループが削除された時に出力されます。グループの説明が変更された時に出力されます。指定したグループのオーナーが変更された時に出力されます。メッセージには、ユーザがグループのオーナーの場合「true」、オーナーではない場合「false」が出力されます。グループにユーザが追加された時に出力されます。グループからユーザが削除された時に出力されます。アプリケーションログ出力先が作成された時に出力されます。アプリケーションログ出力先が削除された時に出力されます。ログの検索条件が作成された時に出力されます。ログの検索条件が削除された時に出力されます。ログの検索条件が変更された時に出力されます。スクリプトプロセスの最大同時実行数が変更された時に出力されます。メモリクリーンアップ要求が実行された時に出力されます。ファイル/ディレクトリのアクセス権限モードが変更された時に出力されます。以下のプロパティの設定を変更せずに[了解]または[適用]ボタンを押下した場合にも出力されます。ファイル/ディレクトリの所有者が変更された時に出力されます。以下のプロパティの設定を変更せずに[了解]または[適用]ボタンを押下した場合にも出力されます。ログインユーザのパスワードが変更された時に出力されます。プールのリセットが実行された時に出力されます。スクリプトプロセスが強制終了された時に出力されます。プロジェクトが作成された時に出力されます。プロジェクトが削除された時に出力されます。プロジェクトがダウンロードされた時に出力されます。全バージョン一括でダウンロードを実行した場合、バージョンは出力されません。全バージョン一括でダウンロードを実行した場合、[PROJECT]の[DOWNLOAD]は出力されず、[FILE]と[DIR]の[CREATE]、[FILE]の[READ]と[WRITE]が出力されます。Cloudファイルシステムの「/tmp/RelayServer/<プロジェクト名>」ディレクトリのパスになります。プロジェクトが移動された時に出力されます。以下の処理を行った場合、プロジェクトは移動されます。プロジェクトが保存された時に出力されます。ローカルからプロジェクトがアップロードされた時に出力されます。Cloudファイルシステムの「/tmp/relayserver」ディレクトリ以下にコピーされた一時ファイルのパスになります。プロジェクトのユーザまたはグループの権限が変更された時に出力されます。プロジェクトのタグが変更された時に出力されます。グローバルリソースが作成された時に出力されます。グローバルリソースが削除された時に出力されます。グローバルリソースが更新された時に出力されます。グローバルスキーマが登録・更新された時に出力されます。デザイナまたはMapperエディタからグローバルスキーマを登録・更新した場合にこのログが出力されます。グローバルスキーマが削除された時に出力されます。グローバルスキーマの設定が更新された時に出力されます。コントロールパネルからグローバルスキーマの設定を編集した場合にこのログが出力されます。スクリプトがロックされた時に出力されます。スクリプトのロックが解除された時に出力されます。DataSpiderServerへの再起動要求が実行された時に出力されます。DataSpiderServerへの停止要求が実行された時に出力されます。サーバ設定のエクスポートが実行された時に出力されます。サーバ設定のインポートが実行された時に出力されます。サービスがコピーされた時に出力されます。プロジェクトがサービスとして登録された時に出力されます。サービス名が変更された時に出力されます。サービスが削除された時に出力されます。DataSpiderServerにログインされた時に出力されます。ログインに失敗した場合、出力されません。DataSpiderServerからログアウトされた時に出力されます。セッションが終了された時に出力されます。一時ディレクトリの削除が実行された時に出力されます。トリガーが作成された時に出力されます。トリガーが変更された時に出力されます。トリガーが削除された時に出力されます。トリガーの状態が変更された時に出力されます。メッセージには、トリガーの状態が有効の場合「true」、無効の場合「false」が出力されます。トリガーの状態を変更した場合、[TRIGGER_ENABLED]の[UPDATE]は出力されず、[TRIGGER]の[UPDATE]が出力されます。ユーザが作成された時に出力されます。ユーザが削除された時に出力されます。ユーザの説明が変更された時に出力されます。ユーザのアクセス権限が変更された時に出力されます。メッセージのアクセス権限モードは8進数で出力されます。ユーザのプライマリグループが変更された時に出力されます。日付ディレクトリスクリプトの実行に関するログは日付ディレクトリ内に出力されます。日付ディレクトリは、/logs下に日付ごとに作成される「yyyyMMdd」形式のディレクトリです。日付ディレクトリに出力されるログファイルは以下の通りです。execログXMLログ日付ディレクトリは、一定期間を過ぎるとZIP圧縮され、さらに一定期間を過ぎると削除されます。作成/圧縮/削除のタイミング日付ディレクトリは、同一日付のディレクトリが存在しない場合、DataSpiderServerの起動時またはスクリプトの実行時に作成されます。圧縮および削除されるタイミングは、DataSpiderServerの起動時または起動から12時間ごとです。日付ディレクトリ内に4GB(4294967295バイト)以上のログファイルが存在する場合、ログの圧縮を行うことができず、対象ファイルが含まれる日付ディレクトリが残ります。その際、DataSpiderServerの動作に影響はありません。手動でログの圧縮または削除を行ってください。