つの機能、ランダム検索とハイパーパラメータスケーリングを紹介します。この記事では、これらの機能について説明し、いつどのように有効にするかについて説明し、どのようにハイパーパラメータの検索におけるパフォーマンスを向上させることができるかを示します。お急ぎの場合は、デフォルト値で実行すると、ほとんどの場合はうまく機能します。詳しく知りたい場合、もっと手動で制御したい場合は、読み続けてください。開発者ガイド」を参照してください。ノートブックの例を参照してください。ランダムな分布からハイパーパラメータ設定を選択するように指示します。ランダム検索の主な利点は、すべてのジョブを並行して実行できることです。対照的に、デフォルトのチューニング手法であるベイズ最適化は、チューニングジョブの進行につれて過去のトレーニングから学習する順序アルゴリズムです。これにより、並列処理のレベルが大幅に制限されます。ランダム検索の欠点は、匹敵するモデル品質に到達するために、一般的にかなり多くのトレーニングジョブを実行する必要があることです。設定するのと同じくらい簡単に、ランダム検索を有効にすることができます。strategy="Random")次のプロットは、左側のランダム検索で選択されたハイパーパラメータと、右側のベイズ最適化で選択されたハイパーパラメータを比較したものです。アルゴリズムを調整しました。つのハイパーパラメータのみを調整しました。可視化されたポイントの色は対応するモデルの品質を示します。プロットは、ベイズ最適化がトレーニングのほとんどを、最高のモデルを生成する検索スペースのリージョンに集中させることを明確に示しています。このアルゴリズムは時折、未探索の新しいリージョンを探索することがあります。ランダム検索は、ハイパーパラメータを均等にランダムで選択します。次のグラフは、前述の例でランダム検索とベイズ最適化の品質を比較したものです。(縦軸、低いほどスコアが高い)。回レプリケートし、これらのレプリケーションの平均値をプロットしました。モデルチューニングアルゴリズムのランダムな性質がチューニングパフォーマンスに大きな影響を与える可能性があるため、これは正確な結果を得るために必要な作業です。あることがわかります。ほとんどのチューニングジョブで同様の結果が期待できます。信頼性の高い結果を得るために、複数のレプリケーションを平均化することが重要です。その理由を確認するには、次のシングルレプリケーションのグラフを参照してください。実行ごとに設定は同じで、すべての変化は異なるランダムシードの内部使用によるものです。つのサンプルは、前述の議論で平均化された曲線から取得できます。ご覧のとおり、ハイパーパラメータのチューニング曲線は、機械学習で見られる他の一般的な学習曲線とは大きく異なります。それらははるかに大きな差異を示します。つのサンプルだけでは、結論を出せません。ハイパーパラメータのチューニング方法を比較している状況では、この点に留意してください。グリッド検索は、ハイパーパラメータ設定を盲目的に選択するという点でランダム検索と似ています。結果に大きな影響を与えない一部のハイパーパラメータの場合、トレーニングジョブがほぼ重複してしまうため、通常はあまり効果的な方法ではありません。ハイパーパラメータのスケーリング実際は、その値が何桁にもわたって大きく変わるハイパーパラメータが多数あります。このハイパーパラメータの変化による効果を調べるために、深層学習アルゴリズムに対していくつかの異なるステップサイズを手動で試すように頼まれたとします。私たちは経験から、後者がアルゴリズムの動作を大きく変える可能性が低いことを知っています。多くのハイパーパラメータでは、桁を変えると、もっと興味深い変化をもたらします。次のグラフは、前述の例で使用したハイパーパラメータに対数スケーリングを適用した結果を示しています。左のプロットは、ランダム検索を使用した結果を示しています。右のプロットは、ベイズ最適化を使用した結果を示しています。(このタイプの詳細については後で説明します)。チューニングジョブ設定の範囲を定義すると、次のようになります。場合、同等のものは次のとおりです。深層学習では、一般的な運動量のハイパーパラメータは、線形スケーリングや単純対数スケーリングではうまく機能しません。値を調べたいはずです。近い値に興味を持っているということです。設定することをお勧めします。適用するように指示します。いつでも対数スケーリングまたは逆対数スケーリングを使用します。ない場合は、線形スケーリングに戻ります。対数スケーリングの使用を選択することは決してありません。大きい最小値を使用することをお勧めします。使用しないでください。ような値を使用してください。これはほぼ同等で、対数スケーリングを使用できます。ベイズ最適化エンジンには、ワープと呼ばれる追加の内部機能があります。ワープは、この記事で説明している設定可能なスケーリングオプションと密接な関係があります。指定されたスケーリングタイプとともに、各ハイパーパラメータに内部ワープ関数を適用します。データを最もよく表すものに応じてチューニングジョブが進むにつれて、ワープ関数が学習されます。これは、チューニングジョブが進行するにつれてこのワープ関数が向上する一方で、ハイパーパラメータのスケーリングが最初から適用されることを意味します。つの変換と比較して、はるかに大きな種類の変換を学習できます。つの変換を示しています。右側の図は、ワープを通して内部的に学習できる変換の例をいくつか示しています。これは、選択したスケーリングタイプに加えて学習されます。内部ワープを適用しないため、ランダム検索を使用するときに正しいスケーリングタイプを選択することは、特に重要です。まとめベイズ最適化でサポートされているよりも高度の並列処理が必要な場合は、ランダム検索を使用できます。ほとんどの場合、デフォルトのベイズ最適化戦略を使用する方がより費用対効果が高いことに注意してください。どのハイパーパラメータのスケーリングタイプを使用するべきかわからない場合は、自動スケーリングを使用してください。ハイパーパラメータが何桁にもわたって大きく変わる場合は、対数スケールを使用してください。近い値に興味がある場合は、逆対数スケーリングを使用してください。正しいスケーリングタイプを使用すると、パフォーマンスの高いハイパーパラメータ検索のスピードが大幅に上がります。自動モデルチューニング機能を発表したチームの一員でした。機会均等法を順守しています。平等に採用しています。