不正使用の確率を取引に無作為に割り当てるモデルがあるとします。実際には、このモデルは正当な取引と不正な取引を区別しないため、私たちにとってはほとんど役に立ちません。この無作為性はモデルのスコア分布によって取り込まれ、取引の一部のそれぞれに想定スコアが付けられます。完全に無作為なケースでは、スコア分布は均一に近くなります。不正使用をリモート側でも予測するフィーチャーがモデルにない場合、モデルのスコア分布は上図のように一様になります。確率のみを無作為に割り当てる空虚モデルでもバイモーダル・スコア分布が形成されます)。スコアが低い取引が不正使用ではなく、スコアが高い取引が不正使用であるという証拠が存在する場合、バイモーダル性が高い分布は、モデルの有効性改善の兆候を示します。多くの場合、モデルが異なると、スコア分布も異なります。新しいモデルをリリースするときに、以前の分布と更新後の分布を比較して、スコアの突然の変化に起因する破壊的な変化を最小限に抑えています。しきい値を上回る取引の比率を安定した状態に維持する目的で、取引をブロックするしきい値で測定されるアカウント加盟店の現行のブロック・ポリシーを考慮しています。種類のコンテキストで計算できます。使用して、無作為にレコードの一部をトレーニングセットに割り当て、その他のレコードを検証セットに割り当てます。トレーニングセットに割り当てるといった方法です。トレーニングセットは、上記の方法でモデルを生成するために機械学習メソッドに送られるデータです。候補モデルが得られたら、それを使用して、検証セットの各サンプルにスコアを割り当てることができます。精度と再現率の曲線、スコア分布などの計算に使用されます。トレーニングセットとは別の検証セットを使用するのは、モデルはすでにトレーニングのサンプルで「回答を見ていて」、それらの回答から学習しているからです。検証セットにより、新しいデータに対するモデルの予測力の正確な指標となるメトリックを生成できます。安全かつ高頻度でモデルを展開するモデルのパフォーマンスが提供されたセットの現行の本番環境モデルよりも優れていることが示されたら、次のステップでは本番環境に展開します。つの大きな課題があります。クラシファイアで不正使用のおそれがあると判断されたすべての取引のブロックを可能にする必要があるため、すべての新しい支払いについて、すべてのフィーチャーの値をリアルタイムで計算できる必要があります。この計算は、トレーニングデータの作成に使用された計算からは完全に分離されます。フローの一部として行われるため、これらのカウントの取り込みと更新を迅速に行う必要もあります。機械学習インフラストラクチャー・チームは、宣言によってフィーチャーを指定するシステムを構築し、フィーチャーの最新の値を本番環境で低遅延で自動的に使用できるようにすることで、この操作を容易にしています。機械学習モデルの展開は、コードの展開とは異なります。多くの場合、コードの変更は正確なテストケースで検証されますが、モデルの変更は通常、上記に定義したようなメトリックを使用して大規模な集約データセットでテストされます。ユーザーにとって優れているものであるとは限りません。パフォーマンスの改善が不均一に分散され、少数の大規模な加盟店には大いに有利に働き、多数の小規模な加盟店には若干の退行をもたらす場合もあります。混乱を生じさせる可能性があります。モデルをリリースする前に、実務において十分なパフォーマンスを発揮するかを検証しています。ユーザーのサブセットに対して集約ベースと加盟店別ベースで測定しています。新しいモデルが、これらのいずれかのガードレールメトリックのいずれかに望ましくない変化をもたらすと判断した場合は、混乱を最小限に抑えて最適なパフォーマンスを確保するために、リリース前にそれぞれ異なる複数のユーザーのサブセットに合わせて調整しています。トレーニングと評価のプロセスを可能な限り自動化すると、モデル反復のスピードに複合的なメリットがあることが分かりました。昨年は、最新のフィーチャーとモデル・アーキテクチャーを使用してモデルのトレーニング、チューニング、評価を自動的かつ定期的に実行するツールに投資しました。モデルのトレーニング後、リリース前にパフォーマンス・ダッシュボードを継続的に更新しています。このようにすると、エンジニアは、リリース前でもモデル候補がトラフィックのサブセットで古くなっているかどうかを簡単に検出して、事前対処として再トレーニングすることができます。モデルのリリース後は、パフォーマンスをモニターして、次のリリースに取り組みます。不正使用の傾向は急速に変化するため、機械学習モデルでは早い段階でドリフトが起こるようになります。トレーニングに使用されたデータは、最新状況の不正使用を表すものではなくなります。倍に高め、本番環境の大幅なパフォーマンス向上を実現しています。ユーザーに提供できます。モデルが本番環境に移行されると、モデルとポリシーのペアのパフォーマンスが継続的にモニターされます。スコアがブロックのしきい値を下回っている支払いについては、取引がカード保有者によって不正使用として申請されたかどうかについて最終的な結果を確認できます。スコアがしきい値を上回っている支払いはブロックされるため、結果を確認できません。曲線の計算は、反事実的分析を伴うため、検証曲線の計算よりも複雑です。ブロックした支払いについても何が起こり得たかについて統計的に安定した推計を得る必要があります。長年かけて、そのためのメソッドを開発してきました。詳しくは、こちらの動画をご覧ください。ここまで、データサイエンティストと機械学習エンジニアが機械学習モデルを開発する際に確認するモデルの効果のメトリクスをいくつか説明しました。次に、ビジネスで不正防止についてどのように考えるべきかについて説明します。つの数字だけに注意を向けていると、ビジネスにとって最適ではない選択を行う場合があります。ビジネスでは、偽陰性を過度に重視する傾向があり、見落とされた不正使用について心配し、偽陽性を十分に重視していません。この考え方から、すべての国際カードをブロックするなど、非効果的でコストのかかる総当たりの対策を取ることがよくあります。全般的に、すべての多様なパフォーマンス指標がどのように関連しているか、自社固有の状況に適切なトレードオフはどのようなものかを考える必要があります。以下に、不正防止システムの効果を判断するために、これらのメトリクスがどのように関連しているかの例を示します。