モデルの構築には、モデルにとって学ぶことのできるデータが必要です。ある入力に基づいてターゲット出力を予測することが目標の場合は、過去の入力と出力を含む例からなるデータが必要になります。不正なクレジットカード取引(予測のターゲット)を検出(予測)することが目的なら、モデルのトレーニングに必要な個々のデータは、過去のクレジットカード取引に関する情報と、その取引が不正なものだったかどうかについての情報を含んでいなければなりません。モデルのトレーニング有用なモデルを構築するには、ターゲットの予測に役立つデータを入力に含める必要があります。カード所有者の主要な居所といった情報です。カード所有者の名前といったデータは、このタスクではあまり役に立ちません。データは正確でなければなりません。間違っていたり不正確だったりするデータでトレーニングしても、優れたモデルは期待できないからです。モデルがさまざまな結果を区別するうえでは、それぞれの結果に対応する例が必要です。クレジットカード詐欺の場合、不正な取引だということがはっきりしている例と、合法的な取引だということがはっきりしている例の両方を含むデータを用意しなければなりません。モデルがあやふやな予測を行わないよう、十分な量の例(ラベル付きデータとも呼ばれるもの)が必要となります。正確度)を得ることができます。使用しデータに合わせてトレーニング済みモデルをカスタマイズすれば、素晴らしい結果を得ることも可能です。ようなサービスを使用して、手持ちのデータにラベルを付けることも可能です。データと予測データの粒度を一致させることが重要です。度ずつ気温を記録していたのでは、出力に比べて入力の粒度が粗すぎます。バイアスのないモデルの構築には、モデリングしようとしている母集団や分布を偏りなく表現するデータを収集して使用します。レビューを使用すると、データセットにバイアスがかかってしまいます。この種のレビューは極端な評価を誇張する傾向があるからです。バイアスをどの程度是正できるかは、問題とデータの両方によって決まります。母集団のあるセグメント全体がサンプルから欠損している場合、母集団全体を代表する推論を導くような調整を加えることは困難です。あるセグメント全体がデータから欠落している場合、可能であれば、そのようなセグメントに関するデータを追加で入手するべきです。ビジネス上の重要な課題とも言える予測処理、すわなち、過去のデータに基づく未来の結果予測を行うには、十分な期間にわたってデータを収集していなければなりません。年分のデータしかなければバイアスが発生します。一般的な予測問題には、アイスクリームの売上げのように、周期性があるものが多数あります。サイクル分のデータを用意することが、経験上良い目安となります。サイクルが必要ということです。予測モデルの構築(つまりトレーニング)では、データ例として過去データのスナップショットを再構成し、それを学習用データとしてモデルに示さなければなりません。そのため通常は、アイテムの価格変更やユーザーによる設定変更といった、更新がなされたときのタイムスタンプを知ることが重要になります。データ値が得られた時期の順序さえわかれば過去の出来事を正確に再現できる場合は、時系列順が分かれば十分で、タイムスタンプまでの情報は不要かもしれません。どのようなタスクでも、データの中に欠損値を含んでいることがよくあります。ように異なる形式で表現されることがあり、欠損値が多ければ多いほどデータの有用性は下がります。欠損値のないデータ項目だけを使うことにした場合は、役に立つデータが十分に残っていることを確認してください。欠損値が生じた理由を知ることも大切です。欠損値が系統的に発生している場合(つまり、無作為に欠損値が発生しているわけではない場合)、そのデータには偏りがあり、適切に処置しなければモデルにバイアスが生じる危険があります。ケースで役に立つ理由は何かということを記録するようにしましょう。適していることが確認できたら、データをモデリングに使える状態に整えます。アルゴリズムの最適化よりもこのステップのほうが、時間がかかることがよくあります。専門知識を必要としません。モデルの開発をスピードアップすることができます。使用して一貫性を持たせ、データをクリーンにしましょう。米ドル、ユーロ、元)、個々の値の単位を明らかにして同じ単位に変換します。つの表現に変換します。フィールドの値の意味は一貫していなければなりません。商品単価を格納するフィールドに原価と販売価格が混在していたり、測定器のキャリブレーションがまちまちになっていたりすると、それは整合性のあるデータとは言えません。リークの発生要因を見つけて、すべて取り除いておきましょう。リークというのは、予測時には入手できない情報を入力の一部としてモデルの構築に利用した際に発生する問題です。絶滅危惧種のクジラの鳴き声を検出するモデルを作成するコンテストにおいて、用意されたサンプルデータ内の「正解のファイル(クジラの鳴き声を含む音声ファイル)」がすべて同じファイルサイズであるということが起きました。この場合、ファイルサイズが学習のための入力データとして使われて、特徴量として認識されてしまうと、コンテストでは素晴らしい成績を収めても、実世界では利用できないモデルが出来上がります。予測問題の場合は、過去の任意の時点におけるデータのスナップショットを簡単に作れるパイプラインを構築しましょう。これは、有用なモデルを作るうえできわめて重要ですが、実際には「言うは易く行うは難し」です。モデルがすでにあれば、ターゲットを予測する時点で利用可能なデータを使用しなければなりません。融資が焦げ付く確率を予測するモデルを構築するとします。スコアを使ってはなりません。セットを保存し、それ以降のトレーニングでは、そのフィーチャーを使うようにするとよいでしょう。本来ならすべてのデータ例についてこのようにしたいところですが、それが不可能であれば、トレーニングとサーブの整合性が保証できる程度に多くのデータ例をこの方法で用意してください。モデルのパフォーマンスを高めるには、外部データセットなどの新しいソースを使ってデータを増やします。エンジニアリングと呼ばれます)。つにまとめて作ります。パイプラインを作り、間違いの修正、変換の改良、反復処理を簡単に行えるようにしましょう。データの品質保証のために自動テストを実施してください。テストでよく行われるのは、欠損値、誤りのある値、非現実的な値、重複、誤ったテーブル結合がないことのチェックです。予測問題については、トレーニングとサーブの一貫性についても追加でテストしたいところです。モデル次第では、正規化や外れ値の置き換えなど追加の変換が必要になることもあります。サイエンティストに任せればよいでしょう。プロジェクトの設計ではデータ要件の評価がきわめて重要です。開発において時間がかかる部分ですが、プロジェクトの成否を決める部分でもあります。リストが必要な場合はこちらのドキュメントを参照してください。付けて投稿してください。リストからヒントを得ていただくとともに、私たちも皆さんから学びたいと思っています。個のダミー変数が必要です)。入力フィールドに指定できるカテゴリーが多ければ多いほど、必要なデータも増えるということです。投稿されたものの抄訳です。機械学習(ML)プロジェクトの設計および実行で成功を収めるには、多くの場合、業務や営業、研究、技術などに携わるさまざまなチームの協力が必要です。チーム内の足並みを揃え、プロジェクトを軌道に乗せるためには、データの収集と準備に関する本質的な理解が欠かせません。使用するデータの評価と準備のための一般的なガイドラインをご紹介します。プロジェクトに関わっているのであれば、たとえ最低限の技術的知識しか持ち合わせていなくても、本稿で説明したガイドラインがお役に立てるでしょう。モデルの設計とトレーニングをすぐに始められるようにすることです。部構成となっています。適しているかどうかを評価し、期待値の設定に役立ちます。部の内容を参考にしてください。