Purviewを徹底解説ツイートシェア送るこんにちは。Purviewを触ってみましたので、調べて分かったことなどを記事に残しておこうと思います。ソリューション」と位置付けられています。https://azure.microsoft.com/ja-jp/services/purview/具体的には、自動化されたデータ検出、機密データ分類などによって、データ環境全体の最新のマップを簡単に作成でき、またデータの利用者はこれを参照して信頼できるデータを見つけることが出きるようになります。これを実現する具体的な機能は後程ハンズオン含めて確認していますので、後半を参照ください。以下のような経緯を持つサービスです。Learnコンテンツを読むとPurview登場の背景を理解できます。参考:https://docs.microsoft.com/ja-jp/learn/modules/intro-to-microsoft-purview/1-introduction昨今のデジタル変革でデータソースの種類やデータ量は爆発的に増加しているそうした状況でも企業では以下の疑問に答えられる必要がある(データガバナンス)どのような種類のデータが存在していて、それがどこに格納されているのかどのデータに機密情報や個人情報が含まれているかどうかユーザはどのようなデータにアクセスできるのかPurviewは、こうした疑問に常に答えられるようにするために登場した。Learnよりこちらにもわかりやすくまとめられています。Purviewは、上の図の通り以下の3つの要素から構成されています。Insights以下、もう少し各要素の理解を深めます。Purviewの導入事例こちらから確認できます。Purviewを利用したサービスアーキテクチャ例Azureのアーキテクチャセンターにいくつかではじめているので、参考になるものがあるかもです。Purviewを実際に使ってみようと思います。Databaseと連携してみました。Databaseを指定します。データソースの登録で指定する情報はプルダウンで選択するだけで非常にシンプルです。次にデータコレクションの機能を触ってみます。Purviewを利用する上で必須の手順ではないですが、データの可視化に便利な機能だと思いましたので手順に加えています。データマップ>コレクションから作成でき、階層化もできます。今回は以下のような階層でコレクションを作成してみました。この状態でデータマップ>ソースを開いてみると・・・こんな感じでコレクションが階層構造で確認できます。この後のステップで追加するデータソースをコレクションに含めた状態だとこんな感じです。データ管理者が、企業が持つデータの種類や場所を把握するのに役立ちそうです。メタデータスキャンの構成と実行データソースの登録が完了したら、実際にデータソースのメタデータを収集するためのスキャンの実行を構成します。今回はお試しなので、基本的にすべて規定値で進めます。Database側に認証の設定が必要だったりしますが、そちらはこの記事の本題ではないので、以下の記事にまかせることとします。接続のテストが成功したら、スキャンスコープの設定。Database内のユーザテーブルを選択できます。次に、スキャンルールセット。今回は規定のルールを使いますが・・・ルールの中身を見てみるとこんな感じで、個人情報などを検出して分類するためのルールが規定で用意されています。これはとても便利そうな予感。結果を見てみるのが楽しみです。おもったら、2022年6月時点では、テーブル資産については分類は自動適用されないようです。(ドキュメント資産は自動分類できる)このため、メタデータスキャン後に列毎に分類を手動で適用してく必要があるようです。今後のアップデートで改善される気がしますが、これはなるはやで実装されると助かりそうですね・・・https://docs.microsoft.com/ja-jp/azure/purview/apply-classifications#apply-classification-to-a-table-asset最後にスキャントリガーの設定。Databaseの場合(他も同じかもですが)、繰り返し頻度は週次または月次が指定できるようでした。ここで必要な設定は完了で、スキャンの実行が開始されます。対したデータの入っていないデータベースでしたので、スキャンは10分以内に完了しました。次に、先ほどスキャンしたデータベースが、データカタログにどのように反映されているのかを見てみます。アセットの参照にすすみ・・・すると、こんな感じで、取り込んだデータの一覧が確認できます。(さっきテーブル名全部マスクしたけど、全部テストデータなのでやっぱいいや・・笑)オブジェクトの種類や、データ分類、コレクションなどいろいろなフィルターが用意されているので、データ検索を効率的に行えそうです。ためしにTitanicテーブルを開いてみます。概要~関連まで5つのタブがあります。ここに管理者がデータの説明を加えていくことで、誰がみてもどこにどんなデータがあるかわかるカタログができあがっていくわけですね。スキーマ構造と、その説明も確認・編集できます。連絡先とか面白いですね。ADと統合されています。次に、データの分類を試してみます。公式ドキュメントのガイドはこちら。https://docs.microsoft.com/ja-jp/azure/purview/apply-classifications今回は、AgeとNameに以下のように分類を追加してみます。分類のカテゴリは、規定でもかなり豊富に用意されていますが、カスタムの分類を追加することもできます。すると、アセットを検索する際に、この分類で検索することができるようになりました。「個人情報(氏名)を含んだデータを全部抽出したい」などといった場合に便利な機能ですね。続けて用語の登録も試してみます。データを検索する際に、ユーザが検索に使う用語が、データの列名などと一致していることは、開発者でデータソースの仕様を把握しているユーザでもないかぎり少ないと思います。(列名はNameだけど、ユーザは”氏名”と検索したり)この機能を使うと、そうした単語を紐づけることができます。用語集機能の詳細については、こちらに説明があります。ユーザーのためのボキャブラリが提供されます。相互に関連付けることができるビジネス用語で構成され、さまざまなコンテキストで理解できるように分類することができます。その後、これらの用語をデータベース、テーブル、列などの資産にマップできます。ユーザーがより身近なボキャブラリのデータを見つけて使用できるようになります。https://docs.microsoft.com/ja-jp/azure/purview/concept-business-glossaryそれではさっそく試しています。上の例の通り、TitanicテーブルのName列を、ユーザが「氏名」と検索した際にヒットさせることができるようにしたいと思います。新しい用語の追加へ進みます。「氏名」という用語を追加します。ユーザが参考にできるリソースへのリンクも貼れるようだったので、適当にWikipediaの氏名の定義ページへのリンクを設定してみました。(検索に反映させるためには、ステータスを”承認済”にしておく必要があります。)次に、この用語と、データを紐づけます。Titanicテーブルカタログの編集から、Name列に用語を関連付けます。先ほど用語に設定したリソースリンクは、カタログ参照時に、以下のような感じでリンクとして反映されていました。データの検索を試してみます。Before・当然ながら、「氏名」といれてもName列はひっかかりません。After・おお!ちゃんとヒットするようになりました。Insightsの機能もみてみます。2022年6月時点では、正常性についてはデータスチュワードシップのダッシュボードがプレビュー公開されています。ダッシュボード2あとはアセットの利用状況が見れたりするようですね。アセット(プレビュー)https://docs.microsoft.com/ja-jp/azure/purview/concept-insights#assets次にアセットのダッシュボードをみてみます。登録したデータが一目でわかることを目指しているように見えますね。用語集(プレビュー)https://docs.microsoft.com/ja-jp/azure/purview/concept-insights#glossary次に用語集のダッシュボード。用語の更新状況が一目でわかるようになっています。分類(プレビュー)https://docs.microsoft.com/ja-jp/azure/purview/concept-insights#classifications分類のダッシュボード。データに付与した分類の分布状況が確認できます。他にももうちょっと機能はありますが、メインどころはカバーしたということで、ここでいったん終了したいと思います。最後までご覧いただきありがとうございます。PurviewデータガバナンスFOLLOWこの記事を気に入っていただけたらシェアをお願いします!ツイートシェア送るコメントを残すメールアドレスが公開されることはありません。USYuu113初めまして。ゆうたろうと申します。兵庫県出身、東京でシステムエンジニアをしております。現在は主にデータ分析、機械学習を活用してビジネスモデリングに取り組んでいます。日々学んだことや経験したことを整理していきたいと思い、ブログを始めました。旅行、カメラ、IT技術、江戸文化が大好きですので、これらについても記事にしていきたいと思っています。Clusterの違いProfile初めまして。東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・*記事はすべて個人の見解で、かつ記載時点の情報に基づいています。(AZ-104)を3日で取得した話。現AZ-305)を1週間で取得した話。Associate資格(AZ-204)を10日間で取得した話。(PL-900)を取得した話。2020【2022年最新版】Azureの認定資格を1ヶ月で全部とる。(DP-900)を2日で取得した話。(AI-900)を2日で取得した話。