仮想マシンのDisk関連はだいぶ変わったことになるが、普通にリソースとしてディスクが使えるようになったので、全体的にはスッキリして分かりやすくなった。(3.5.0)が出てないのが気になるが、ブランチにはrelease-3.5.0居るので、そのうち出てくるでしょう。Diskを操作するなら、https://github.com/chagarw/MDPPを見るのがお勧めだ。ほとんどのパターンが網羅されている。出ていると教えてもらいました。HQに近い男と言われるしばやん。3日目として書きました。DataFactory(以下ADF)は、データの移動や変換を自動化するクラウドベースのデータインテグレーションサービスです。ADFには、コピーアクティビティとデータ変換アクティビティの2種類があります。このうちコピーアクティビティは、単純なETLツールで優れたパフォーマンスとリーズナブルな価格で魅力的なサービスです。個人的にはコピーアクティビティはシンプルでなかなかよく出来ており、お気にいりました。データ変換アクティビティはクラスタを上げて変換処理をするのが利点でもあり難点でもあるって感じですね。今回は、スクリプトからのエラーリカバリ、タイムスライスの再実行について記述します。ADFでは実行はタイムスライス単位で行われデータソースの問題で複数のタイムスライスが失敗した時などエラーの数が多くなり勝ちです。エラーが多くなるとポータルの画面から再実行をするのはポチポチが多くなってとても面倒になります。失敗したタイムスライスを再実行してみます。パイプラインの監視と管理に書いてありますので、そちらもどうぞ。原因究明まずは、エラーの原因を確認します。エラーが大量に出ていると面倒なので、下記のようなスクリプトでエラーメッセージでサマります。サマった数が表示されます。4096[1]を追加すると最後まで表示されます。s...簡単にスクリプトの説明をします。そのタイムスライスの詳細な情報を取得し、最後にエラーメッセージでグルーピングしてカウントしています。再実行これでエラーが分かるので問題を修正して、再実行します。DataFactoryのタイムスライスの再実行には、スライスの状態遷移を理解しなければなりません。変更することで行います。問題の修正が完了したら、下記のスクリプトで、失敗したタイムスライスを再実行します、スクリプトでは失敗したタイムスライスを古いものから順にWaitingにするだけです。タイムスライス毎に設定をしているので、pipelineで指定したバックフィルの順序が反映されません。タイムスライス間に依存関係がある場合は問題が出るかもしれませんので注意してください。実行には、上記で確認したエラーになったデータセットを指定します。再実行になったタイムスライスを表示します。23:00:00下記のようなコマンドで、タイムスライスの状態を確認することができます。ここでは、Ready以外を表示しています。PowerShellを使っていると、PowerShellのオブジェクトパイプランが強力さを肌で感じます。?とやるのが気に入ってしまいました。実行結果を返すGet-AzureRmDataFactoryRunの関係でした。このコマンドが、タイムスライスの実行結果を返すもので、タイムスライス(slice)のIDとして開始時間を渡すということに大分時間を無駄にしました。後で、マニュアル[2]見たらちゃんと書いてあったんですが、、、、Set-AzureRmDataFactorySliceStatusは、期間を渡せるので、個々のタイムスライスを指定するのではなく。期間をわたしてざっくり再実行でも良いかもしれません。その場合は、エラーになったタイムスライスを探して、その周辺の時間帯をざっくり再実行って感じですかね。それはそれで、実用性は高そうな気がしてきました。いいぞ!ということで。poshのデフォルトではコンソール出力はコンソールバッファーの幅で省略されます。この仕様は余計なお世話な気がします。そのまま出してくれれば良いのに。