SageMaker(以下、SageMaker)が東京リージョンで利用可能となりました。弊社は以前からSageMakerに注目しており、今後、日本でも利用が広がることを期待しております。Forest』(以下、RCF)を実行してみたいと思います。※ビルトインアルゴリズムとは?SageMakerのノートブックインスタンスには、あらかじめ複数のサンプルノートブックが用意されています。それらのノートブックには、機械学習でよく用いられるアルゴリズムのサンプルプログラムが実装されています。これらを利用することで、機械学習をすぐにでも実行することが出来ます。2018年6月21日現在、用意されているアルゴリズムは次の通りです。Forestノートブック作成ノートブックインスタンスを作成します。ステータスが『InService』になったら、アクションの『オープン』をクリックします。notebookの画面が開きます。Examples』タブをクリックします。algorithms』をクリックします。『random_cut_forest.ipynb』の『Use』ボタンをクリックします。copy』ボタンをクリックします。RCFのノートブックが開きます。copy』で作成されたフォルダとノートブックの所在は次の通りです(フォルダ名の末尾に、作成年月日がYYYY-MM-DD形式で付加されます)。Forestアルゴリズム実行RCFを実行していきます。使用するS3バケット名を入力します。必要に応じて、プレフィックスも入力します(今回はデフォルトのままとします)。このノートブックで編集が必要なのはこのセルだけですが、今回は他のセルも編集して実行します。月間分で構成されるサンプルデータセット(CSV形式)をダウンロードします。ダウンロードしたサンプルデータセットは、ノートブックと同じフォルダに格納されます。サンプルデータセットの先頭5行を表示させます。サンプルデータセットをプロットしてみます。横軸6000付近にピークが見られます。ピーク付近にズームして見るため、横軸5500から6500までの範囲をプロットしてみます。通常時のデータの様子もより詳細に見て取れます。Protobuf形式にエンコーディングされたデータで最もよく機能します。Protobuf形式に変換し、S3バケットへ格納しています。学習用Dockerコンテナイメージを設定します。このセルには、実行しているノートブックのリージョンから自動的に判定して設定されるようにプログラムが組まれています。ハイパーパラメータの説明が記載されています。今回は、学習用インスタンスのインスタンスタイプを、デフォルトの『ml.m4.xlarge』から『ml.t2.medium』に変更してみます。処理時間を計測して表示する処理を追加しました。すると、下記のようなエラーメッセージが表示されます。学習用インスタンスのインスタンスタイプに『ml.t2.medium』は指定出来ないようです。指定出来るインスタンスタイプを下表にまとめました。ギガビット『ml.m5.large』を指定して再実行します。今回は、学習におよそ222秒(3分42秒)かかりました。エンドポイントを作成します。説明に『ml.c5インスタンスタイプを推奨』とあるので、今回は『ml.c5.xlarge』を指定します。このセルでも処理時間を計測し、結果はおよそ330秒(5分30秒)でした。学習済みモデルを使用して、異常スコア(異常の程度を表し、高ければ異常、低ければ通常と判断する)を算出します。異常スコアをグラフにプロットしてみます。ここでは、次の式を満たすデータを『異常』と判断する基準を採用します。(異常スコアの標準偏差)異常なデータポイントをプロットします。)最後にエンドポイントを削除します。Forest』を、一部「処理時間の計測」や「インスタンスタイプの変更」をしながら実行してみました。Forest』による異常検知を導入出来る筈です。最後までご覧頂きありがとうございました。Preferences。