大澤勇斗(25)22この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、大阪DI部の大澤です。Calendar」の5日目の記事となります。作成」についてご紹介します。作ってみたいと思います。Truthは機械学習の教師あり学習の教師データを作成する際に必要となる、データのラベル付けを行えるサービスです。ラベル付けは数十個のデータであればまだなんとかなりますが、数千・数万とかの規模になるともう自分だけではどうにもなりません。Turkやベンダー、もしくは自ら指定した人たちで構成するチームに対して、ラベル付けを依頼し、ラベル付けされたデータセットを管理できるサービスです。AWSの公式ブログでは以下のように紹介されています。以下のデータセットの構築をお手伝いします。必要に応じてアクティブラーニングを使用し、インプットデータのラベル付けを自動化することもできます。アクティブラーニングは機械学習のテクニックで、人によりラベル付けされるべきデータと機械がラベル付けできるデータを特定する手法です。時間を削減することができます。記載された精選されたサードパーティベンダーをお選び頂くことが可能です。やってみるラベリングジョブの作成まずはラベリングジョブを作成します。マネジメントコンソールのSageMakerのページを開き、右側のメニューからGroundTruthのラベリングジョブを開きます。jobからラベリングジョブを作成します。overviewの設定からです。fileを選択しデータセットが入っているディレクトリを入力することで、自動で作成してくれます。ここではどういうタイプかだけを選択します。ワーカーが選択可能なラベルなどの設定については、次のステップで行います。各画像に対して適切なラベルを選ぶタスクです。各画像に関連づけられるラベルは1つのみです。今回試すのはこのタスクです。画像内の適切な範囲を覆う、ラベルに紐づいたバウンディングボックスと呼ばれる矩形を作成します。classification:各テキストに対して適切なラベルを選ぶタスクです。各画像に関連づけられるラベルは1つのみです。各ピクセル毎にラベルを割り当てるタスクです。自らでラベリング方法とUIを定義します。SageMakerワーカーの選択を行います。Turkに登録しているワーカーにラベル付けを依頼します。ヌードなどの不適切な内容や個人情報が含まれている場合には利用できません。指定したPrivateチームに対してラベル付けを依頼します。サードパーティのベンダーにラベル付けを依頼します。ベンダーはマーケットプレイスを介して探すことができます。今回はPrivateチームで試します。チームがまだ存在しない場合には作成が必要です。チームの作成には以下の項目の設定が必要です。ラベル付けを行ってもらいたい人(アノテーター)のメールアドレスをカンマ区切りで入力します。アノテーターに招待メールを送るときに表示される。何かあったときに連絡が来るメールアドレス。今回は自分でラベル付けを行うので、自分自身のみをチームに含めます。次にラベリングツールの設定を行います。今回は画像分類用のラベル付けを行うためそれ専用のツールに関する設定になります。typeで異なるものを選んでいた場合には、それぞれ異なる設定内容になります。画像分類用の場合には説明用文章とoption(選択肢、ラベル)の設定が必要です。以下のような感じです。右上にあるPreviewを選択することで、アノテーターがラベル付けを行う際の画面で試すことができます。設定画面に戻り、Submitで設定を送信すればラベリングジョブの作成は完了です。プライベートチームをワーカーとして選択していた場合には順次チーム内のメンバーへメールが自動的に送られます。ラベリングプロジェクトへの招待メールがamazonses.com経由で届きます。passwordを入力してログインします。ログイン後はパスワードの再設定が求められるので、指示に従い再設定します。再設定後、ジョブ一覧ページが開きます。その中に先ほど作成したラベリングジョブも含まれているはずです。ジョブがない場合は現れるまで少し待つか、作成したジョブが正しく作成できているか確認するのが良さそうです。workingをクリックすることでラベル付けを始めることができます。ラベル付けは中央に表示された画像に対して適切なラベルを右側から選択してSubmitすることで次に進めることができます。全ての画像のラベル付けが終了すると、ジョブ一覧画面に戻ります。全てのジョブが終わると以下のような感じで表示されます。※23枚の画像で試した際、最初のラベル付けジョブでは10枚の画像しかありませんでした。すると、新しいジョブが一覧に表示されてラベル付けができるようになってました。全画像分のラベル付けが終わって無いのにジョブがもう表示されないという場合はしばらく待ってみるといいかもしれません。totalという箇所がラベル付けした枚数だけ更新されているかと思います。StatusもしばらくするとCompleteに変化します。datasets)というページではデータセットの一覧を見ることができます。データセットのマニフェストファイルの場所と作成日が記載されています。データセットをクリックすることで詳細を開くことができ、そこではどういう画像が含まれているかを確認できます。記載されているマニフェストファイルにラベル付けされたデータセットの情報が書かれています。マニフェストファイルの内容などの詳細についてはドキュメントをご確認ください。Truthのラベリングジョブによって作成したマニフェストファイルは、SageMakerでモデルの学習を行う際の入力データとして使うことが出来ます。SDKでAttributeNamesを指定する方法が見つからなかったので、現時点においてはboto3から学習ジョブを作成する必要があります。Truthのマニフェストファイルを画像分類の学習ジョブにおける教師データとして使用できます。作成」についてお送りしました。Turk、ベンダーに発注することができます。教師画像の規模感や予算に応じて、そういった手段の利用を検討するのが良さそうです。アノテーションの種類も画像分類だけではなく、テキスト分類、物体検出、セマンティックセグメンテーション、ユーザー定義のカスタムタスクも可能です。いった用途における教師データの作成が必要な際に試してみてはいかがでしょうか。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。〜ITエンジニアのお仕事とホンネ〜1月30日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。濱田孝治80EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。菊池修治45こんにちは、菊池です。VPNの冗長化について、最近何度か続けて社内で質問を受けましたのでまとめようと思います。大前諒祐26MediaLiveでの配信終了時に自動でアーカイブファイルをMediaConvertで変換する仕組みを作ってみました。武田隆志1179このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe328件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui328インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。濱田孝治272「ふわわぁ、眠いな。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。