2020/02/16日本では5つの要因でサラリーマンの給料は上りません。規制緩和の遅れがもたらした賃金低迷このため自分で稼ぐしかありません。アフィリエイト等で稼いでいた5年前と比べ現在の副収入は「ほぼゼロ」です。これは、「株の自動売買」を夢見て無駄な人生を費やしている一人の男の物語です。「オーバーフィッティング(カーブフィッティング)」とはシステムを過去の相場にぴったり合うように過剰に最適化してしまうことです。機械的に検出したパラメータセットをそのまま採用してしまう場合1以外は機械学習に関わります。テクニカル指標の利用方法は複雑で、最適化しまくりな手法です・・・。理解できないような指標を採用し最適化した場合はこの検証が出来ないわけですので後々システムが破綻する可能性が大きくなるかと思います。「train_test_split関数」しか知りませんでしたが、過学習を回避する手法は多くあります。Validation)train_test_split関数は、データをランダムに分割するのでscoreは偶然に左右されやすいです。max_depthパラメータを大きくすればするほど精度が上がりますが、汎化性能が下がっていきます。このため、交差検証(cross-validation)を使って、過学習が起こっていないかチェックすることが重要です。交差検証は、全てのデータを訓練に1回用いて複数の検証結果をまとめることで、偶然性を軽減します。sklearnでは、KFold、StratifiedKFold、ShuffleSplitがサポートされています。cross-validation)があります。これは、データをk分割し、それらを用いる検証法です。分割数が多くなるほど時間がかかります。StratifiedKFold(層状K分割)各分割内でのクラスの比率が全体の比率と同じになるように分割します。用いることで分割方法を指定することができます。分割交差検証が用いられます。ShuffleSplit(ランダム置換相互検証)シャッフル分割交差検証は、テストデータ数、訓練データ数、繰り返し数を指定して検証する手法です。1.0を指定することでデータの一部だけを用いた検証をおこなうことができます(サブサンプリング)。これは大規模データで効率的に検証を行うときに有効です。1つ抜き交差検証(leave-one-out)テストデータとして1データを用い、訓練データとして他の全てのデータを用いる手法です。学習させたモデルの性能やその予測値の良し悪しを測る指標です。scoreやMCCのような混合行列を元にしたものと、loglossやAUCのように確率値をもとにした二種類があります。matrix)とは、機械学習モデルや検査等の性能を示すための方法です。2×2の表に、実際のラベル(生存・死亡、など)と機械学習による予測結果の組み合わせごとに、その数を書き込むことで作成されます。曲線とAUC混合行列は、クラスに偏りがある場合、機能しなくなるという問題があります。この問題を回避する目的で使われる指標です。割合をプロットしたものです。面積が大きいほど一般的に機械学習の性能が良い事を意味します。推測できている状態です。1.0の値をとります。一般的には、AUCの値に基づいて予測能・診断能を次の様に判断します。KFoldとAUCを利用したサンプル実装ROC-AUCの場合、直接その値を算出する関数roc_auc_score()があるのでそちらを使ったほうが便利です。モニタリングし、学習エラー(bias)と検証エラー(variance)のトレードオフが起きるところで学習を早期に終了させ、過学習を防ぎます。labels」3日間、各種エラーに悩まされました。ターゲットを次のように差し替えると、再現できました。setの中に、正解ラベルの一部が含まれてないためです。一般的には十分なデータ量があるため問題ありませんが、動作確認のためデータの一部を使って学習している場合や、目的変数の数値が大量に存在している場合に発生します。明日の始値」としていましたが、その際にtrainとvalidに分けた際に、両方に含まれない変数値が存在した事が原因のようです。match」データセットの目的変数(TARGET)を次のような値にすると発生します。},)二値でないとダメなのか・・・・。case.」データセットの目的変数(TARGET)を次のような値にすると発生します。KFold(K-分割交差検証)を利用AUCの精度、正解率の出力結果です。0.645495AUCは0.645であり、予測能が高いとは言えません。説明変数の「feature_importances_」の結果です。騰落レシオ、ボリュームレシオ、移動平均乖離率などのTA-Libに存在しない変数が高いです。バックテスト結果Protraを使ったバックテスト結果です。1998/01/05~2020/01/24における成績です。トヨタ1998/01/05~2020/01/24における成績です。-3.37%利益曲線は次のようになります。勝率66%、プロフィットファクター4、年利は20%超え、最大ドローダウンも5%以下です。まとめ「テクニカル指標が多過ぎる」「テクニカル指標が複雑過ぎる」「機械的に検出したパラメータセットをそのまま採用」というオーバーフィッティングになりうる要素を、交差検証を使って避けることができました。学習精度は0.64と低いですが、Kaggle流のスコアアップの手法はまだ多くあります。機械学習としては次の章に進んだ感じです。ソースコード機械学習の説明が主目的なので、株のストラテジー部分は割愛します。言え、tilibは以前公開したものが古いですが利用できます。...日本のジョブズ、飯野賢治さんの凄さ90年代、「天才ゲームクリエイター」「時代の寵児」と呼ばれた飯野賢治さん。...NYダウを利用した空売りの有効性検証(システムトレード)海外出張から戻ってきました。...マトリックス・ウイルスに感染するも三ヶ月放置CGIにも飽きてきた...。IPルーティングのプログラム分からん...。...Protraの使い方基礎編(チャートの追加方法)ある程度慣れてきたので、Protraの(私の)使い方を説明します。...Cygwin/XFree86のXサーバをインストールするもそろそろ研究計画を決めないといけない。...機械学習を使った株価予測(pandas-profiling、create_tree_digraphで可視化する)株式投資は、予測するものではなくルールに沿って選ぶものです。...機械学習を使った株価予測(ファンダメンタルズ指標導入でAUC=0.70超え)株式投資は、予測するものではなくルールに沿って選ぶものです。...機械学習を使った株価予測(関連論文・サイトを調査してみる)株式投資は、予測するものではなくルールに沿って選ぶものです。