モデルの構築には、モデルにとって学ぶことのできるデータが必要です。ある入力に基づいてターゲット出力を予測することが目標の場合は、過去の入力と出力を含む例からなるデータが必要になります。不正なクレジットカード取引(予測のターゲット)を検出(予測)することが目的なら、モデルのトレーニングに必要な個々のデータは、過去のクレジットカード取引に関する情報と、その取引が不正なものだったかどうかについての情報を含んでいなければなりません。モデルのトレーニング有用なモデルを構築するには、ターゲットの予測に役立つデータを入力に含める必要があります。カード所有者の主要な居所といった情報です。カード所有者の名前といったデータは、このタスクではあまり役に立ちません。データは正確でなければなりません。間違っていたり不正確だったりするデータでトレーニングしても、優れたモデルは期待できないからです。モデルがさまざまな結果を区別するうえでは、それぞれの結果に対応する例が必要です。クレジットカード詐欺の場合、不正な取引だということがはっきりしている例と、合法的な取引だということがはっきりしている例の両方を含むデータを用意しなければなりません。モデルがあやふやな予測を行わないよう、十分な量の例(ラベル付きデータとも呼ばれるもの)が必要となります。正確度)を得ることができます。使用しデータに合わせてトレーニング済みモデルをカスタマイズすれば、素晴らしい結果を得ることも可能です。ようなサービスを使用して、手持ちのデータにラベルを付けることも可能です。データと予測データの粒度を一致させることが重要です。度ずつ気温を記録していたのでは、出力に比べて入力の粒度が粗すぎます。バイアスのないモデルの構築には、モデリングしようとしている母集団や分布を偏りなく表現するデータを収集して使用します。レビューを使用すると、データセットにバイアスがかかってしまいます。この種のレビューは極端な評価を誇張する傾向があるからです。バイアスをどの程度是正できるかは、問題とデータの両方によって決まります。母集団のあるセグメント全体がサンプルから欠損している場合、母集団全体を代表する推論を導くような調整を加えることは困難です。あるセグメント全体がデータから欠落している場合、可能であれば、そのようなセグメントに関するデータを追加で入手するべきです。ビジネス上の重要な課題とも言える予測処理、すわなち、過去のデータに基づく未来の結果予測を行うには、十分な期間にわたってデータを収集していなければなりません。年分のデータしかなければバイアスが発生します。一般的な予測問題には、アイスクリームの売上げのように、周期性があるものが多数あります。サイクル分のデータを用意することが、経験上良い目安となります。サイクルが必要ということです。予測モデルの構築(つまりトレーニング)では、データ例として過去データのスナップショットを再構成し、それを学習用データとしてモデルに示さなければなりません。そのため通常は、アイテムの価格変更やユーザーによる設定変更といった、更新がなされたときのタイムスタンプを知ることが重要になります。データ値が得られた時期の順序さえわかれば過去の出来事を正確に再現できる場合は、時系列順が分かれば十分で、タイムスタンプまでの情報は不要かもしれません。どのようなタスクでも、データの中に欠損値を含んでいることがよくあります。ように異なる形式で表現されることがあり、欠損値が多ければ多いほどデータの有用性は下がります。欠損値のないデータ項目だけを使うことにした場合は、役に立つデータが十分に残っていることを確認してください。欠損値が生じた理由を知ることも大切です。欠損値が系統的に発生している場合(つまり、無作為に欠損値が発生しているわけではない場合)、そのデータには偏りがあり、適切に処置しなければモデルにバイアスが生じる危険があります。ケースで役に立つ理由は何かということを記録するようにしましょう。適していることが確認できたら、データをモデリングに使える状態に整えます。アルゴリズムの最適化よりもこのステップのほうが、時間がかかることがよくあります。専門知識を必要としません。モデルの開発をスピードアップすることができます。使用して一貫性を持たせ、データをクリーンにしましょう。米ドル、ユーロ、元)、個々の値の単位を明らかにして同じ単位に変換します。つの表現に変換します。フィールドの値の意味は一貫していなければなりません。商品単価を格納するフィールドに原価と販売価格が混在していたり、測定器のキャリブレーションがまちまちになっていたりすると、それは整合性のあるデータとは言えません。リークの発生要因を見つけて、すべて取り除いておきましょう。リークというのは、予測時には入手できない情報を入力の一部としてモデルの構築に利用した際に発生する問題です。絶滅危惧種のクジラの鳴き声を検出するモデルを作成するコンテストにおいて、用意されたサンプルデータ内の「正解のファイル(クジラの鳴き声を含む音声ファイル)」がすべて同じファイルサイズであるということが起きました。この場合、ファイルサイズが学習のための入力データとして使われて、特徴量として認識されてしまうと、コンテストでは素晴らしい成績を収めても、実世界では利用できないモデルが出来上がります。予測問題の場合は、過去の任意の時点におけるデータのスナップショットを簡単に作れるパイプラインを構築しましょう。これは、有用なモデルを作るうえできわめて重要ですが、実際には「言うは易く行うは難し」です。モデルがすでにあれば、ターゲットを予測する時点で利用可能なデータを使用しなければなりません。融資が焦げ付く確率を予測するモデルを構築するとします。スコアを使ってはなりません。セットを保存し、それ以降のトレーニングでは、そのフィーチャーを使うようにするとよいでしょう。本来ならすべてのデータ例についてこのようにしたいところですが、それが不可能であれば、トレーニングとサーブの整合性が保証できる程度に多くのデータ例をこの方法で用意してください。モデルのパフォーマンスを高めるには、外部データセットなどの新しいソースを使ってデータを増やします。エンジニアリングと呼ばれます)。つにまとめて作ります。パイプラインを作り、間違いの修正、変換の改良、反復処理を簡単に行えるようにしましょう。データの品質保証のために自動テストを実施してください。テストでよく行われるのは、欠損値、誤りのある値、非現実的な値、重複、誤ったテーブル結合がないことのチェックです。予測問題については、トレーニングとサーブの一貫性についても追加でテストしたいところです。モデル次第では、正規化や外れ値の置き換えなど追加の変換が必要になることもあります。サイエンティストに任せればよいでしょう。プロジェクトの設計ではデータ要件の評価がきわめて重要です。開発において時間がかかる部分ですが、プロジェクトの成否を決める部分でもあります。リストが必要な場合はこちらのドキュメントを参照してください。付けて投稿してください。リストからヒントを得ていただくとともに、私たちも皆さんから学びたいと思っています。個のダミー変数が必要です)。入力フィールドに指定できるカテゴリーが多ければ多いほど、必要なデータも増えるということです。加速する金融サービス企業のクラウド導入2018年8月10日金曜日されたものの抄訳です。エクスペリエンスの提供といった課題に直面しています。システムも抱えています。その結果、多くの金融サービス企業がクラウドを利用するようになっています。このような金融機関のお客様と会って話をすると、成長や差別化の推進、コストの削減、より俊敏で革新的な企業への変革にクラウドが役立つことを期待する声をよく耳にします。エコシステムを構築しています。効率を高める手段としてだけでなく、変革の起爆剤としてクラウドを位置づけています。ファースト戦略をどのように進めているかについて情報をシェアしました。迅速なイノベーションの実現に向けて、信頼性と回復力の高いサービスを構築できるクラウドへの移行を推進中です。アナリティクスを利用して顧客ニーズをより良く理解し、新しいバンキング機能を顧客に提供しようとしています。詐欺行為を迅速かつ高い精度で検知するにあたって、機械学習をどのように活用すればよいのかを探っています。最近、「ワークロードをクラウドに移行した当初は、リソースを浪費しないスケールアップやスケールバックを目的としていたが、今では、自社データを利用した機械学習機能を構築する方法も調査している」と述べています。ようなツールを使って提供する方法に注目しています。エクスペリエンスの提供を支援します。リスク状況が変化し、不正の手口が巧妙化する中、機械学習は異常の早期発見や誤検出の削減、詐欺の防止に役立ちます。機密情報を幅広く取り扱う金融サービス企業は、データを完全な管理下に置くことを絶対的に優先します。セキュリティを中核に据えて設計、構築され、運用されており、そのプロダクトは、セキュリティ、プライバシー、およびコンプライアンス管理について、独立機関による検証を受け、さまざまな国際基準の認証や認定を受けています。内でデータをどのように配置するかを決定できるようにして、データの分離、リージョン別の管理、暗号鍵の管理、破棄といったファクターの適用を可能にしています。したセキュリティへの取り組みにあります。万人の会員にサービスを提供するプラットフォームの拡張を行っています。サービスを使いこなせるよう会員を支援するという当社のミッションをサポートすることにつながる」と述べています。プロバイダーを選択するうえで決め手になったのです。金融機関は、ビジネスのグローバル展開を進める中で、クラウドを最適なインフラストラクチャと考えるようになっています。Platform(GCP)のリージョンをチューリッヒに開設し、金融サービスを手がける多くのスイス企業が高可用性かつ高パフォーマンスのアプリケーションを容易に構築できるようにすると発表しました。リージョンを開設する計画です。この数はさらに増えていく見込みです。多くの金融サービス企業にとってクラウドへの移行はまだ初期の段階にありますが、喫緊の課題であることは間違いありません。お客様の関心は「クラウドに移行するかどうか」から「どのように移行するか」に移っており、それをお手伝いできることを私たちはうれしく思います。多くのお客様によるクラウドへの取り組みに協力できることを楽しみにしています。金融ソリューションについてはこちらのページをご覧ください。投稿されたものの抄訳です。エクスペリエンスの提供といった課題に直面しています。システムも抱えています。その結果、多くの金融サービス企業がクラウドを利用するようになっています。このような金融機関のお客様と会って話をすると、成長や差別化の推進、コストの削減、より俊敏で革新的な企業への変革にクラウドが役立つことを期待する声をよく耳にします。エコシステムを構築しています。効率を高める手段としてだけでなく、変革の起爆剤としてクラウドを位置づけています。ファースト戦略をどのように進めているかについて情報をシェアしました。迅速なイノベーションの実現に向けて、信頼性と回復力の高いサービスを構築できるクラウドへの移行を推進中です。アナリティクスを利用して顧客ニーズをより良く理解し、新しいバンキング機能を顧客に提供しようとしています。詐欺行為を迅速かつ高い精度で検知するにあたって、機械学習をどのように活用すればよいのかを探っています。最近、「ワークロードをクラウドに移行した当初は、リソースを浪費しないスケールアップやスケールバックを目的としていたが、今では、自社データを利用した機械学習機能を構築する方法も調査している」と述べています。ようなツールを使って提供する方法に注目しています。エクスペリエンスの提供を支援します。リスク状況が変化し、不正の手口が巧妙化する中、機械学習は異常の早期発見や誤検出の削減、詐欺の防止に役立ちます。機密情報を幅広く取り扱う金融サービス企業は、データを完全な管理下に置くことを絶対的に優先します。セキュリティを中核に据えて設計、構築され、運用されており、そのプロダクトは、セキュリティ、プライバシー、およびコンプライアンス管理について、独立機関による検証を受け、さまざまな国際基準の認証や認定を受けています。内でデータをどのように配置するかを決定できるようにして、データの分離、リージョン別の管理、暗号鍵の管理、破棄といったファクターの適用を可能にしています。したセキュリティへの取り組みにあります。万人の会員にサービスを提供するプラットフォームの拡張を行っています。サービスを使いこなせるよう会員を支援するという当社のミッションをサポートすることにつながる」と述べています。プロバイダーを選択するうえで決め手になったのです。金融機関は、ビジネスのグローバル展開を進める中で、クラウドを最適なインフラストラクチャと考えるようになっています。Platform(GCP)のリージョンをチューリッヒに開設し、金融サービスを手がける多くのスイス企業が高可用性かつ高パフォーマンスのアプリケーションを容易に構築できるようにすると発表しました。リージョンを開設する計画です。この数はさらに増えていく見込みです。多くの金融サービス企業にとってクラウドへの移行はまだ初期の段階にありますが、喫緊の課題であることは間違いありません。お客様の関心は「クラウドに移行するかどうか」から「どのように移行するか」に移っており、それをお手伝いできることを私たちはうれしく思います。多くのお客様によるクラウドへの取り組みに協力できることを楽しみにしています。金融ソリューションについてはこちらのページをご覧ください。活用で簡単かつ短期間に音声対応アプリを開発。ポケモンに最適2018年8月10日金曜日ポケモンをプロデュースする会社、株式会社ポケモン(ポケモン社)。「スマートスピーカー」という言葉もなかった黎明期に、スマートスピーカーを使った「エンタメを創りたい」という想いから、「ピカチュウトーク」を株式会社カヤック(カヤック)と共同で開発しています。人のキーパーソンに話を伺いました。株式会社ポケモン「ポケモンという存在を通して、現実世界と仮想世界の両方を豊かにすること。」という企業理念に基づいて、ゲームをはじめ、アニメ、映画、グッズ、アプリケーション、イベント、タイアップ企画など、ポケモンに関するあらゆるサービスをプロデュースし、グローバルに展開しています。ピカチュウと話したい」と呼びかけると、「ピカ、ピカチュウ~!」とピカチュウが登場。」と言えば「ピッカー......チュウウウウウ!」と攻撃してくれる。何を聞いても「ピカ」しか答えないが、なぜかピカチュウと一緒の気分が味わえる「ピカチュウトーク」。このサービスを提供しているのがポケモン社です。代表とするアプリの分野。月よりスタートしました。「ピカチュウトーク」の開発プロジェクトをサポートしたのがカヤック。鎌倉市に保育園や食堂を作るなど、地域密着の事業も展開。孝至さんは、「面白いことは何でもやる会社で、オートクチュールのものづくりが特長です。今回、小川さんと縁あって、ピカチュウトークの開発に参画しました。「このプロジェクトは、豊富なアイデア力を持つカヤックさんと組むしかないと考え、何を作るか決まっていない企画の段階から依頼をしました。いう条件がありました。最大の課題は、スマートスピーカーから発せられる音声で、いかにビジュアルをイメージできるかでした。村井さんは、「鳴き声だけでポケモンの種類が分かり、イメージを膨らませることができるのは、かなりコアなファンです。ピカチュウの鳴き声であれば、ほとんどのファンが理解できます。これが、ピカチュウトークの誕生した背景でした。Platform(GCP)を採用することを決定します。呼び出されるアプリとして開発されています。アシスタントに戻します。数十種類ですが、話しかけた内容はもちろん、時間や場所、天気などの条件により、すべて違った反応が返ってきます。小川さんは、「話した内容や話者との関係性、言葉がポジティブなのか、ネガティブなのかといった内容を、機械学習で解析し、解析結果に応じてピカチュウのセリフが抽出され、抽出されたピカチュウのセリフを組み合わせて返事が作成されます。理論上、無限の組み合わせのトークが可能です。辰琳さんは、次のように話します。すごいなと思っていました。統合した方が便利だと思い採用を決めました。一緒に使えるかを検証しました。その結果、スピードもかなり速く、非常にうまくいきました。サポートに問い合わせると、適切に対応してもらえたので、短期間で解決できました。史高さんは、「スマートスピーカーの黎明期だったので、日本語に対応していなかったとか、仕様がどんどん変更されるとか、開発中はいろいろありましたが、個人的には有意義な開発でした。ローンチタイトルの開発とは、まさにこういうことなのだという、めったに経験できない、非常によいプロジェクトだったと思っています。か月で開発しています。「システム開発以外にも、台本作りや音声収録など、作業は山積みでした。昭吾さんにも協力してもらいました。スプレッドシートで、音声とロジックの対応表を作ったのは、開発期間の短縮に非常に有効でした。導入効果を村井さんは、次のように語ります。自動的にスケールされるので非常に便利です。急に大量のアクセスがあった場合、サービスが止まってしまうのは最悪です。その心配がないのは絶大な安心感でした。威力を思い知りました。サポートに、グローバル対応のプロビジョニングを支援してもらえたのは非常に助かりました。とっかかりやすく、スピードが速いことに驚きの連続。積極的に活用していきたいと思っています。任天堂・クリーチャーズ・ゲームフリークの登録商標です。こちらをご覧ください。その他の導入事例はこちらをご覧ください。ポケモンをプロデュースする会社、株式会社ポケモン(ポケモン社)。「スマートスピーカー」という言葉もなかった黎明期に、スマートスピーカーを使った「エンタメを創りたい」という想いから、「ピカチュウトーク」を株式会社カヤック(カヤック)と共同で開発しています。人のキーパーソンに話を伺いました。株式会社ポケモン「ポケモンという存在を通して、現実世界と仮想世界の両方を豊かにすること。」という企業理念に基づいて、ゲームをはじめ、アニメ、映画、グッズ、アプリケーション、イベント、タイアップ企画など、ポケモンに関するあらゆるサービスをプロデュースし、グローバルに展開しています。ピカチュウと話したい」と呼びかけると、「ピカ、ピカチュウ~!」とピカチュウが登場。」と言えば「ピッカー......チュウウウウウ!」と攻撃してくれる。何を聞いても「ピカ」しか答えないが、なぜかピカチュウと一緒の気分が味わえる「ピカチュウトーク」。このサービスを提供しているのがポケモン社です。代表とするアプリの分野。月よりスタートしました。「ピカチュウトーク」の開発プロジェクトをサポートしたのがカヤック。鎌倉市に保育園や食堂を作るなど、地域密着の事業も展開。孝至さんは、「面白いことは何でもやる会社で、オートクチュールのものづくりが特長です。今回、小川さんと縁あって、ピカチュウトークの開発に参画しました。「このプロジェクトは、豊富なアイデア力を持つカヤックさんと組むしかないと考え、何を作るか決まっていない企画の段階から依頼をしました。いう条件がありました。最大の課題は、スマートスピーカーから発せられる音声で、いかにビジュアルをイメージできるかでした。村井さんは、「鳴き声だけでポケモンの種類が分かり、イメージを膨らませることができるのは、かなりコアなファンです。ピカチュウの鳴き声であれば、ほとんどのファンが理解できます。これが、ピカチュウトークの誕生した背景でした。Platform(GCP)を採用することを決定します。呼び出されるアプリとして開発されています。アシスタントに戻します。数十種類ですが、話しかけた内容はもちろん、時間や場所、天気などの条件により、すべて違った反応が返ってきます。小川さんは、「話した内容や話者との関係性、言葉がポジティブなのか、ネガティブなのかといった内容を、機械学習で解析し、解析結果に応じてピカチュウのセリフが抽出され、抽出されたピカチュウのセリフを組み合わせて返事が作成されます。理論上、無限の組み合わせのトークが可能です。辰琳さんは、次のように話します。すごいなと思っていました。統合した方が便利だと思い採用を決めました。一緒に使えるかを検証しました。その結果、スピードもかなり速く、非常にうまくいきました。サポートに問い合わせると、適切に対応してもらえたので、短期間で解決できました。史高さんは、「スマートスピーカーの黎明期だったので、日本語に対応していなかったとか、仕様がどんどん変更されるとか、開発中はいろいろありましたが、個人的には有意義な開発でした。ローンチタイトルの開発とは、まさにこういうことなのだという、めったに経験できない、非常によいプロジェクトだったと思っています。か月で開発しています。「システム開発以外にも、台本作りや音声収録など、作業は山積みでした。昭吾さんにも協力してもらいました。スプレッドシートで、音声とロジックの対応表を作ったのは、開発期間の短縮に非常に有効でした。導入効果を村井さんは、次のように語ります。自動的にスケールされるので非常に便利です。急に大量のアクセスがあった場合、サービスが止まってしまうのは最悪です。その心配がないのは絶大な安心感でした。威力を思い知りました。サポートに、グローバル対応のプロビジョニングを支援してもらえたのは非常に助かりました。とっかかりやすく、スピードが速いことに驚きの連続。積極的に活用していきたいと思っています。任天堂・クリーチャーズ・ゲームフリークの登録商標です。こちらをご覧ください。その他の導入事例はこちらをご覧ください。