やましーデータ活用クラウドエンジニアになるSQLも叩けない、クラウドも触ったことがない三十代元インフラエンジニアの私。2020年2月20日こんにちは。今日はデータ基盤にデータを取り込む方法について解説したいと思います。以前、データ基盤の構成要素であるデータレイクついての記事を書きました。どのようにしてデータをデータレイクに置くのでしょうか。概念だけの理解するのと、具体的な手法までを理解するのとでは、いざお客様との打ち合わせの際に具体的な手法まで理解してイメージできた方がしっかりと地に足が付いた提案をすることができるようになります。使ってデータ基盤の構成要素であるデータレイクへデータを入れて(インジェストして)みます。インジェスト」を題材として使います。教材自体は手順がはしょられている部分があるので、今回もスクショ多めで教材の手順にない空白部分を埋めながら、各設定項目についてもできるだけ詳細に解説していきたいと思います。よるデータの移動までを対象とします。Databriks以降は次回解説したいと思います。今回の記事の読者は以下の方を対象にしています。まとめデータインジェストのアーキテクチャ今回の題材の概要です。データレイクを作成するまずデータを溜めるためのデータレイクを作成します。Azureでデータレイクを実現するにはストレージアカウントを作成します。ストレージアカウントを新規作成する「すべてのサービス」から「ストレージアカウント」を選択し、管理画面へ遷移します。ストレージアカウントの基本項目を設定する1サブスクリプション:いつもお使いのものを選択します。2リソースグループ:今回はデモ用に新規にリソースグループを作成しました。3ストレージアカウント名:「ysmtechsa01」としました。好きな名前を設定します。4場所:「東日本」を選択しました。5パフォーマンス:Standardを選択しました。ハードウェアとしてHDDを使用することになります。PremiumのはSSDが使用されるので高速に読み書きができる反面コストが高くなります。v2)を選択しました。V1はクラシックモデルのため、今後はV2の使用が推奨されています。7レプリケーション:「ローカル冗長ストレージ(LRS)」を指定しました。LRSは1つのデータセンターの中でデータを3つに複製する設定です。LRSが最安なのでこちらを指定しました。8アクセス層:「ホット」を指定しました。ホットは頻繁にデータを読み書きすることにコストが最適かされています。コールドは長期的にデータを保存し読み書きをあまりしない場合にコストが最適されています。9「次:ネットワーク」を選択します。次はネットワーク接続の設定です。ネットワークの接続方法を設定する1接続方法:「パブリックエンドポイント(すべてのネットワーク)」を選択しました。2「次:詳細」を選択します。