概要Azureを用いての環境構築を行いましたので、備忘録も兼ねて手順を公開します。Portalから作成していきたいと思います。1.リソースグループの作成リソースグループとは、一つのアプリケーションを構成するためのサービス、Webサーバー、データベース、ストレージ、ネットワークなど、相互依存している複数のリソースを、サービスごとではなく任意のグループを1つにまとめたものことをいいます。2)「追加」を選択します。3)サブスクリプション、リージョンを適宜選択し、適当なリソースグループを入力し、「確認および作成」を選択します。4)確認画面が表示されるので「作成」を選択します。以上でリソースグループの作成の完了です。*「タグ」についてタグは複数のリソースグループやリソースを横断してコスト管理を行うときに便利な機能です。設定しなくてはならない機能ではないので今回は設定していません。タグは作成した後からでも設定可能なため必要に応じて設定してください。ネットワークの基本的な構成要素です。左側のメニューから「仮想ネットワーク」を選択します。2)「追加」を選択します。3)サブスクリプション、リージョン、リソースグループをそれぞれ適宜選択し、適当な名前を入力します。続いて、適当なサブネット名を入力します。アドレス範囲は複数のネットワークを使用予定の場合は広げて設定して下さい。「作成」を選択して仮想ネットワークの作成が完了です。その他の設定については適宜必要に応じて設定して下さい。参考までに各種設定について記載します。・DDoS保護のBasic/Standardについて・サービスエンドポイントの設定ストレージアカウントへのアクセスについて特定のストレージアカウントへのアクセのように詳細な設定が可能です。サービスを設定することが可能です。3.ストレージアカウントの作成ストレージアカウントとは、Azureにてストレージを利用する際のストレージの単位のことを指します。左側のメニューから「リソースの作成」を選択します。Blob、File、Table、Queue」を選択します。3)サブスクリプション、リソースグループ、場所を適宜選択します。ストレージアカウント名には適当な名前を入力します。パフォーマンス、アカウントの種類、レプリケーション、アクセス層(既定)については、下記表を参考に設定して下さい。5)ネットワークの接続方法の設定です。6)詳細設定を必要に応じて設定します。設定が完了したら、「確認および作成」を選択します。7)設定した内容に問題がなければ「作成」を選択します。8)続いて作成されたストレージアカウントを選択し、赤枠で囲まれた「コンテナー」を選択します。ファイルシステム」を選択します。10)任意の名前を入力し「OK」を選択します。これでコンテナーが作成されました。ストレージアカウントの作成は以上になります。Machines」を選択します。2)「追加」を選択します。3)これまで同様サブスクリプション、リソースグループを適宜選択します。4)適当な仮想マシン名を入力し、地域を選択します。可用性オプションは、単体構成の可用性以上の可用性が必要な場合に設定してください。*各種設定値についてはこちらをご覧下さい。イメージはVMの基本オペレーティングシステム、またはアプリケーションとなります。適切なものを選択して下さい。インスタンスを使用すると、非常に低コストで未使用の容量を利用することが可能です。中断してもかまわないワークロードに使用してください。今回はなしで作成します。サイズでは、仮想マシンのスペックを選択します。5)管理者アカウントの設定を行います。認証の種類で「パスワード」を選択した場合は、ユーザー名とパスワードをそれぞれ入力し、「SSH公開キー」を選択した場合はユーザー名とSSH公開キーをそれぞれ入力してください。続いて受信ポートの設定を行います。こちらの設定がAzure仮想マシンへのリモート接続の設定となります。こちらのポートはVM作成後に、「設定」>「ネットワーク」>「受信ポートの規則」より追加することも可能です。6)続いてディスクの設定です。必要に応じてOSのディスクの種類を選択して下さい。参考までに下記にマネージドディスクの比較表を記載します。7)続いてネットワークの設定です。「2.仮想ネットワークの作成」で作成した仮想ネットワークを選択し、必要項目を入力します。8)管理項目の設定です。「ストレージアカウント」が必要となるので、アカウントの設定を行います。「3.ストレージアカウントの作成」で作成したアカウントを選択して「確認および作成」を選択します。9)設定に問題がなければ「作成」を選択して、VMの作成は完了です。Warehouseのことを指します。データ分析がまとめられた分析サービスです。Synapseを用いることによりデータソース、データウェアハウス、ビックデータ解析システムから、より早く、生産的に、セキュアに、同時にインサイトを得ることができるようになります。左側のメニューから「リソースの作成」を選択します。3)これまで同様サブスクリプション、リソースグループを適宜選択します。データウェアハウス名にはデータウェアハウスの名称を入力します。続いてサーバーを新規作成します。「新規作成」を選択します。新規作成を選択すると右に下記のような画面が表示されますので、サーバー名を入力します。「サーバー管理者ログイン」、「パスワード」はSynapseへのログインの際に必要になります。適切な情報を入力します。サービスにサーバーへのアクセスを許可する」をチェックしてから「OK」を選択します。続いてパフォーマンスレベルを選択します。DWU*の数が変更され、それによってさらにシステムのパフォーマンスやコストが調整されます。Warehouseのリソースの単位です。Warehouseのリソースは、CPU、メモリ、IOからなります。「次:追加設定」を選択します。4)照合順序の設定を行います。こちらの設定は一度設定すると変更することができないため注意が必要です。照合順序により、並べ替え規則、大文字と小文字の区別、およびアクセントの区別のプロパティをデータで利用できるようになります。charやvarcharなどの文字データ型に使用する照合順序は、そのデータ型で表すことのできるコードページおよび対応する文字を指定します。日本語のオペレーティングシステムロケールによって決定される既定の照合順序は、下記の表になります。設定が完了したら「確認および作成」を選択します。5)最後にこれまでの設定内容を確認し、問題がなければ「作成」を選択します。Server」が作成されていることを確認することができます。Serverのファイアウォール規則を作成ファイアウォール規則を作成することにより、外部のアプリケーションとツールはサーバーやサーバー上のすべてのデータベースに接続できなくなります。アドレスに接続を許可するファイアウォール規則を追加します。Server」を選択して、「ファイアウォール設定の表示」を選択します。追加」を選択すると現在接続しているネットワークのIPアドレスが入力されます。IP」「終了IP」を入力します。入力が完了したら、「保存」を選択して、ファイアウォールの設定を行います。以上の設定により、クライアントPCからSynapseに接続することができるようになりました。続いて、データベースマスターキーを作成します。Studio)を用いて設定を行います。SSMSはこちらのSSMSのダウンロードサイトよりダウンロードしてください。1)Synapseに接続するための完全修飾サーバー名を取得します。ウェアハウス」を選択し、右上にあるサーバー名をコピーします。Server認証」を選択します。Analyticsを作成した際に入力したものを使って接続します。接続できると、下記のような画面が表示されます。3)データベースマスターキーを作成するために、データベースに対するコントロール権限を作成します。エクスプローラー」で、「データベース」>「システムデータベース」>「master」を選択します。「master」上で右クリックし、「新しいクエリ(Q)」をクリックし、クエリ実行用の画面を表示します。4)続いて3)で表示したクリエ実行画面に下記のようなSQLをコピーして貼り付けます。ApplicationLogin;[ApplicationLogin]と[ApplicationUser]は任意の名称に変更し、[Password]についても任意のパスワードを設定します。メニューバーの赤枠で囲われた「実行」を選択して、作成したクリエを実行します。エクスプローラー」で「データベース」>「システムデータベース」>「master」>「セキュリティ」>「ユーザー」と選択すると、[ApplicationUser]で入力した名称が作成されていることを確認して下さい。同様に、「セキュリティ」>「ログイン」と開くと、[ApplicationLogin]で入力した名称が作成されていることを確認して下さい。5)Synapseにユーザーの追加を行います。下記のSQLによりユーザーの追加を行います。先ほどSynapse作成時に設定した「データウェアハウス名」と同様のデータベースが存在しているので、そちらを右クリックし、「新しいクエリ(Q)」をクリックし、クエリ実行用の画面を表示し、下記SQLを貼り付けます。[ApplicationLogin];先ほど同様「実行」を選択してクリエの実行を行います。エクスプローラー」で「データベース」>[Synapse作成時に設定した「データウェアハウス名」]>「セキュリティ」>「ユーザー」と選択すると、[ApplicationUser]で入力した名称が作成されていることを確認して下さい。これでコントロール権限を付与するユーザが作成できました。6)続いてコントロール権限の付与を行います。5)で実行したクエリ画面)に下記SQLを貼り付けて実行します。(Transact-SQL)を参照して下さい。ApplicationUser;GO7)最後にマスターキーを作成します。先ほど実行したクエリ画面に下記SQLを貼り付けて実行します。'[Password]';[Password]には任意のパスワードを設定してください。以上でデータベースマスターキーを作成できました。Analyticsの作成手順が完了です。Directoryアプリケーションリソースです。アプリケーションIDとパスワードまたは証明書が与えられた、独自のユーザーIDです。サービスプリンシパルには、割り当てられたロールとアクセス許可によって定義されるタスクを実行するために必要な権限のみが与えられます。Directory」を選択します。2)左側のメニューより「アプリの登録」を選択します。3)「新規登録」を選択します。4)任意のアプリケーション名を入力し、「登録」を選択します。以上でアプリケーションの登録は完了です。Databricksの作成で使用するのでコピーしておいてください。忘れた場合は、2)の「アプリの登録」を選択して表示された画面に作成したアプリが表示されていますので、そちらをクリックすると再度確認することが可能です。シークレット」を選択します。6)クライアントシークレットの追加ダイアログが表示されたら、有効期限を選択します。パスワードを定期的に変更したい場合は「1年」もしくは「2年」を選択します。7)クライアントシークレットが作成されました。こちらのクライアントシークレットの値は今後参照不能になるため必ずこの時点で控えておいてください。8)続いて、作成したアプリケーションにロールの割り当てを行います。今回はストレージアカウントにロールを割り当てます。3.で作成した、ストレージアカウントを選択し、「アクセス制御(IAM)」を選択します。9)「ロールの割り当てを追加する」の項目にある「追加」を選択します。アクセス管理者」しかできないので、ご注意ください。データ共同作成者」を選択し、「選択」に先ほど登録したアプリを選択してから「保存」を選択します。以上で、アプリケーションにロールの割り当てが完了しました。Sparkベースの分析プラットフォームです。左側のメニューから「リソースの作成」を選択します。Databricks」を選択します。3)これまで同様、サブスクリプション、リソースグループを入力します。ワークスペース名には任意の名称を入力します。場所には、これまで選択してきた場所と同様のものを選択します。価格を参考に必要なレベル適宜選択して下さい。Databricksワークスペースをデプロイする場合は「はい」を、しない場合は「いいえ」を選択して下さい。選択したら「確認および作成」を選択します。5)入力項目に問題がなければ「作成」を選択します。Databricksの作成は完了です。Databricksのクラスターは、運用ETLパイプライン、ストリーミング分析、アドホック分析、機械学習などのデータエンジニアリング、データサイエンス、およびデータ分析などのワークロードの実行基盤となる計算リソースおよび構成のセットです。サービス」を選択し、「ワークスペースの起動」を選択します。Databricksのワークスペースが表示されます。Cluster」を選択します。Nameには作成するクラスターの名称を入力します。clusters」を選択します。clusters」は同時実行性の高いクラスターです。クラスターの開始時間を短縮するには、クラスターを、事前に定義されたアイドル状態のインスタンスのプールに接続します。プールを使用する場合は公式ドキュメントのプールを使用するを参照してください。*こちらの機能はプレビュー段階にあるので変更になる可能性があります。Versionでは使用したいScala、Sparkのバージョンを選択します。選択したバージョンによっては、Pythonのバージョンが複数対応している場合があるので、その際は、適宜Pythonのバージョンも選択します。autoscalingをチェックしてください。inactivityでは、クラスターの作成時に、クラスターを終了するまでの非アクティブな期間を分単位で指定できます。Databricksはそのクラスターを自動的に終了します。実行が完了すると、クラスターは非アクティブと見なされます。Typeの設定については、こちらの公式ドキュメントを参考に適宜選択して下さい。Workersでは自動スケール時の最小Workerノード数を設定できます。Workersでは自動スケール時の最大Workerノード数を設定できます。Cluster」を選択して、クラスターを作成します。以上でクラスターの作成は完了です。WorkspaceのNotebook作成時に使用します。Databricksを使用してデータの抽出、変換、読み込みを行う方法をご紹介します。Labはてなブログをはじめよう!iTD_GRPさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。