大高大輔(25)15こんにちは。Glueと仲良くなるべく色々と触っています。今回は「開発エンドポイント」を試してみたいと思います。Shellジョブでファイルの文字コードを変更してみた「開発エンドポイント」とは?下記ヘルプに記載のとおり、Glue開発時にはインタラクティブに開発ができるように「ノートブック」の機能が用意されています。「ノートブック」でコードの記述と実行ができますが、その実行環境が「開発エンドポイント」になるようです。スクリプトを反復的に開発してテストする環境を作成できます。スクリプトを開発できます。エンドポイントを指してテストします。このプロセスにより、インタラクティブな方法で機能を追加してスクリプトをデバッグできます。ノートブックサーバー」の2種類を利用することが出来るようです。Zeppelinが利用できるEC2インスタンスが作成されるようです。オーサリングノートブックインスタンスを提供します。」と記載があるようにノートブックの作成や管理も出来るし、マネージメントコンソールからノートブックを開くこともできるようです。動作イメージとしては以下の記事のような感じですね。ノートブック」を試してみたいと思います。例によってIAMロールの準備が必要となります。「開発エンドポイント」用のIAMロールこれは前回の記事でも作成しましたが、以下の記事の「Step2」を参考に作成します。ノートブック」用には別途IAMロールが必要となります。以下を参考に作成してきます。GlueまずはIAMポリシーを作成します。IMAポリシーの作成画面を開き、「JSON」エディタを開いてヘルプに記載されているポリシーを貼り付けます。貼り付けたら、ヘルプに記載の通り赤字の部分を適宜修正します。ヘルプでは作成した開発エンドポイントを指定するなどの記載がありますが、今回はお試しなので少し大きめに以下のポリシーで試します。]}最後に適宜名前を付けて「ポリシーの作成」をクリックして作成します。サービス」の「SageMaker」を選択します。アクセス権限」をクリックします。タグ」をクリックします。実運用ではもう少しポリシーの絞り込みが必要になるかと思いますが、今回はそのままとします。タグは適宜必要に応じて作成してください。これにより、Glueでのロール選択時に認識されるロールとなるようです。ロールが作成できたら、最後の手順としてロールを開き、追加で先程作成したポリシーをアタッチしておきます。これでIAMロールの準備は完了です。ノートブック」をそれぞれ作成してみます。「開発エンドポイント」の作成マネージメントコンソールでGlueの「開発エンドポイント」の画面を開き、「エンドポイントの追加」をクリックします。「開発エンドポイント名」を入力し、「IAMロール」には先程準備した「開発エンドポイント」用のIAMロールを指定して「次へ」をクリックします。「ネットワーキング」については、今回は特に利用しないのでスキップします。パブリックキー」については、SageMakerノートブックを利用するので記載されている通りに省略します。最後に内容を確認して「完了」します。開発エンドポイントの作成中は以下のように表示されています。作成が完了すると以下のように表示が変わり、ステータスが「READY」となります。この「READY」の状態における開発エンドポイントの起動時間により課金が行われますので、不要になったらエンドポイントを削除しましょう。notebooks」のタブから「ノートブックサーバーの作成」をクリックします。name」には適宜名前を指定し、開発エンドポイントには先程作成したものを、IAMロールには「既存のIAMロールを選択」から、こちらも先程作成したノートブック用のロールを指定して作成します。ステータスなので暫く待ちます。なったら準備完了です。ノートブック」でコードの記述と実行をしてみるでは、いよいよノートブックです。先程作成したノートブックサーバーの画面を開いて「Open」をクリックします。ノートブックの利用料金についての注意書きが出るので、確認して「OK」をクリックします。すると、あとは一般的なJupyterノートブックの画面になると思います。Examples」というフォルダがあるので開いてみます。サンプルが用意されているので、こちらを開いてみます。このサンプルでは一般的なジョインやフィルタリングなどのサンプルとなっていました。当たり前ですが、新規にファイルを作成して自由にコードも記載できます。前回の記事で試したようなコードも、以下のように動かすことができました。実際の開発では、ここでGlueのSparkジョブに記載するスクリプトを書いて動作確認する流れになるのかと思います。削除」から削除しておきます。まとめ以上、Glueの「開発エンドポイント」を試してみた結果でした。環境を整えるのが大変ですが、GlueのSparkジョブの開発をジョブのスクリプト編集画面で試行錯誤するのは時間が掛かる上にデバッグもしずらいので、うまく「開発エンドポイント」を利用すれば効率よく開発できそうですね。一方で、開発エンドポイントを立ち上げっぱなしだと、それなりに利用料金が掛かってしまうので、その辺りはうまく運用しないといけないと感じました。どなたかのお役に立てれば幸いです。251,673DI部の大高です。2018/08〜ジョイン。最近はカスタマーストーリーアナリティクスの開発をしています。地図データ、Talend、Salesforceなどが好物です。リモート参加もOK〜クラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。〜ITエンジニアのお仕事とホンネ〜1月30日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。濱田孝治268「ふわわぁ、眠いな。藤井元貴90Gitリポジトリ内を検索する機会はよくあると思います。grepコマンドを使えば、git管理下のファイルのみを対象としてgrepができます。シンプルなコマンドですが、利便性はとても高いと思います。記事2020年01月20日かずえ81速報です。先程大阪リージョン開設予定がアナウンスされました!!以前から大阪ローカルリージョンという色々と制限がついた特殊なリージョンが存在していましたが、それが拡張され、東京リージョンなどと同じ通常のリージョンになります!2021年初頭開設予定です。武田隆志1143このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe326件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui326インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。濱田孝治268「ふわわぁ、眠いな。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。