(IR))というコンピュートが実際にコピーなどの処理を行います。IR(マネージドなIR)を使用するため、「すべてのネットワーク」を選択する必要があります。この場合はインターネットからのアクセスも可能となってしまいます。「パブリックエンドポイント(選択されたネットワーク)」は仮想ネットワークを指定してストレージへのアクセスを許可することができます。IRは仮想ネットワークに存在しないのでアクセスできません。IRをインストールすることでストレージにアクセスすることができるようになります。「プライベートエンドポイント」はストレージにプライベートIPアドレス付与する項目になります。セルフホステッドIRをオンプレミスのサーバーにインストールし、そのプライベートIPアドレスまでの経路を確立させることで、閉域網だけでコピーなどの処理を完結させることができます。詳細設定をする1安全な転送が必須:「有効」を選択しました。基本的には有効にしておきましょう。HTTPS通信のみに限定されます。2大きいファイルの共有:「無効」を選択しました。今回はFilesを使用しないため無効を選択しました。有効にした場合Filesのスケールを5GiBから100TiBまで拡張することができます。3階層構造の名前空間:「有効」を選択しました。階層構造を有効にすることでフォルダ(ディレクトリ)を作成して階層的にBLOBを配置することができるようになります。無効の場合は従来の方法と同様フラットな空間にBLOBを配置します。今回タグは使用しないので「確認および作成」を選択します。Gen2の階層構造の名前空間について従来のフラットな空間にBLOBを置く場合、BLOB名にスラッシュ(/)を含めることで擬似的にフォルダを表現していました。そのためフォルダ名の変更を行った場合、そのフォルダ名が含まれるBLOBすべての名前の変更を実施する必要があり、分析処理にものすごく時間がかかっていました。階層構造の名前空間にすることで分析の処理中に発生するフォルダ名の変更が1回でスピードが上がり、分析のパフォーマンス向上を見込むことができるようになります。内容を確認しを作成する内容がよければ「作成」を実行します。コンテナーを作成するストレージアカウントの作成が完了したら、作成したストレージアカウントの管理画面へ遷移し、コンテナーを作成していきます。1「コンテナー」を選択します。2「名前」を設定します。今回は「demo-container01」としました。3「OK」を選択し、コンテナーを作成します。以上でデータレイクの作成が完了です。factoryの作成を行っていきまます。Factoryを作成します。ファクトリ」を選択します。データファクトリの基本項目を設定する1名前:「ymstech-adf01」と設定しました。2バージョン:「V2」を選択しました。基本的に上位互換であるV2を選んでおけば問題ありません。3サブスクリプション:いつもお使いのものを選択します。4リソースグループ:デモ用に新規に追加したリソースグループを指定します。5場所:「東日本」としました。6Gitを有効にする:「チェックなし」チェックを付けるとデータファクトリの各種処理のパイプラインなどをGitで管理することができます。Factoryを作成します。Factoryではパイプラインと呼ばれるタスク(処理)を連ねた論理的なグループを作って一連のタスクを実行させます。今回はコピー処理が1つだけのパイプラインを作っていきます。管理画面を開く作成したデータファクトリの管理画面の「作成と監視」を選択します。専用の管理画面が開きます。data」を選択します。パイプラインの構成要素のタスクを作成していきます。name:「LabPipeline」としました。now」を選択します。shedule」を選択します。3「Next」を選択します。次はSourceの設定を行います。Sourceを設定するコピー元のデータセットを作成します。connection」を選択します。Factoryではデータのコピー元やコピー先をあらかじめデータセットを作成する必要があります。Factoryとデータソースをリンクしておく必要があります。Storage」を選択します。今回の教材はデータのコピー元をDatabricks社が管理するBlobストレージからデータをコピーするため、こちらを選択します。serviceの詳細設定を行います。1Name:コピー元のサービス名を「PublicDataset」としました。URI」を選択します。こちらはコピー元のストレージへのアクセス方法を指定できます。URLが公開されているのでそれを使います。URI」を選択し直接URIを入力します。URL:「https://databricksdemostore.blob.core.windows.net/」接続先を指定します。Token:「?sv=2017-11-09&ss=b&srt=sco&sp=rl&se=2099-12-31T17:59:59Z&st=2018-09-22T15:21:51Z&spr=https&sig=LqDcqVNGNEuWILjNJoThzaXktV2N%2BFS354s716RJo80%3D」トークンを設定します。service」を選択し、接続テストを行います。connection」を実行します。10を選択し、リンクドサービスの作成を完了します。1作成したリンクドサービス「PublicDataset」を選択します。2「Next」を選択します。1「Browse」を指定して、コピーするフォルダを選択します。教材にはバグにより直接フォルダパスは入力できないと書かれていました。1「training\crime-data-2016」を選択します。2「Choose」を選択して確定させます。copy:チェックを付けます。今回はバイナリデータ(parquet)をコピーします。type:圧縮タイプは「None」とします。コピー処理中に圧縮や解凍を行うことができますが、今回はNoneとしています。3Recursively:チェックを付けます。フォルダの中を再帰的にコピーします。4「Next」を選択し、データデータセットの作成を完了します。Destinationを設定するコピー先のデータセットを作成します。connection」を選択します。Gen2」を選択します。これはコピー先になるので、先に作っておいたストレージアカウントの種類です。2「Continue」を選択します。1Name:「ymstechsa01_demo01」としました。runtime:「AutoResolveIntegrationRuntime」を選択します。subscription」を選択します。これにより、直接キーを入力する必要はなく、プルダウンからストレージアカウント選ぶだけで接続ができます。subscription:ストレージアカウントが存在するサブスクリプションを選択します。name:「ymstechsa01」を選択します。service」を選択し、接続テストを行います。connection」を実行します。10を選択し、リンクドサービスの作成を完了します。1作成したリンクドサービス「ymstechsa01_demo01」を選択します。2「Next」を選択して、データセットの作成を始めます。type:「None」を選択します。behavior:「PreserveHierarchy」を選択します。コピー元のフォルダ構造をそのままコピーします。ほかに、トップ階層へフラットにファイルを配置する設定や、一つのファイルにマージすることが設定できます。4「Next」を選択します。Settingsは特に設定を行わず「Next」を選択します。コピーのサマリが表示されます。コピーを実行するSummaryを確認し問題なければ「Next」を選択することでDeploymentへ移行し、その時点でコピー処理が実行されます。パイプライン(コピー)が正しく完了したか確認します。「Monitor」を選択します。パイプラインの実行結果一覧が表示されます。runs」のアイコンを選択します。ACTIONSの「Details」を選択し詳細を見てみます。Gen2にコピーが実行されたことが確認できました。次に実際にコピーされたデータを見てみます。Portalからストレージアカウント「ymstechsa01」を選択します。Explorer(プレビュー)」を選択します。2「ファイルシステム」「demo-container01」を選択します。3コピーされたデータがあることが確認できました。データレイクにデータの取り込みを実際にやってみました。Gen2で作成しました。次にDataFactoryを作成し、データセットとして送信元と送信先のサービスをリンクドサービスとしてADFとのリンクを作成しました。Factoryはデータの送信元と送信先のデータセットとして作成しました。パイプラインを実行し、コピーができたことが無事確認数ることができました。Databricksを使ってデータを整理してみたいと思います。最後まで読んでいただきありがとうございました。以上、やましー@データ活用クラウドエンジニア(@yamashi18041)でした。Analyticsを使ってWindowsイベントログを監視してみたこんにちは。システムを安定稼働させ、重大な問題を未然に防ぐためにも監視は非常に重要です。...クラウドとは?こんにちは。今日は【クラウド】っていったい何なのかについて説明したいと思います。東京」に参加してきましたので一日目の様子をいち早くお伝えしたいと思います。Notebookがサクッと使えたこんにちは。Directoryとテナントとサブスクリプションとユーザーアカウントの関係についてこんにちは。Notebookがサクッと使えたこんにちは。...2020/01/25やましーのプロフィールこんにちは。やましー@データ活用クラウドエンジニア(@yamashi18041)です。私は現在クラウド技術を使ってお客様企業のデータ活用基盤を構築しています。Databricksでデータを整形&統合&可視化する方法こんにちは。Databricksを使ってデータレイクのデータを表示する方法こんにちは。...プロフィールはじめまして!やましー@データ活用クラウドエンジニアです。クラウド未経験状態で転職し、3ヵ月でデータ活用基盤をクラウド上に構築できるようになりました。エンジニアとして尖るためにはアウトプット必須だろ!ってことで2019年6月からブログ開始。日々勉強したことを同じように悩んでいる方の為に記事を更新してます。得意領域はAzure、C言語、TCP/IP、サーバーインフラ構築です。未分類やましーデータ活用クラウドエンジニアになるSQLも叩けない、クラウドも触ったことがない三十代元インフラエンジニアの私。