質問と回答のペアから、そのペアに対する評価値を予測する問題となっています。予測に使用できるデータとしてタイトル・質問・回答の文章に加え、質問者の名前、回答者の名前、質問が行われたサイトのURL、SCIENCEなどの質問のカテゴリーが与えられていました。予測する評価値は30種類あり、スピアマン順位相関係数によるランクの類似度で評価します。詳細はコンペのページを参照ください。Notebookで、モデルが決まったあとのパラメーター探索だけvast.aiを使いました解法モデルHeaderをいじった、BERT-base-cased、BERT-base-uncased、XLNet-base-casedの3つのモデルのアンサンブルです。予測値の1つ、question_type_spellingのみTF-IDFとLGBMを使ったモデルで予測しました。tokenの出力をconcat→2層MLPという形をとっていたのでこちらを参考にしました。CVが良かったので、そのままの形を取らせていただきました。0.3333のように共通分母を持っていそうな値だったので、複数人の評価者が0/1で判断した評価の平均値であることが予測されていました。CPMPさんのコメントによると、その評価者の人数もターゲットによって異なるとのようでした。Sarrisさんのコメントにあるとおり、予測値の一つ、question_type_spellingが評価されているのはカテゴリーがCULTUREの英語学習のstackexchangeの質問に関してのみのようだったので、データを絞って専用のモデルを学習することにしました。CVスコアがよくなったのでこちらを利用しました。ALBERT組み合わせやパラメータが悪かったということも考えられるので、現在続々と公開されているsolutionを参考にしっかり復習したいと思います。おわりに金メダルは取れませんでしたが、ソロで2枚目の銀メダルをとれたのでめちゃめちゃうれしかったです。