nend・nex8のエンジニア・技術ブログ2019-09-20ネット広告CTR予測業務体験記インターンデータ分析コースのインターンシップに参加させていただいた大庭です。今回はデータサイエンティストとしての働き方を間近で体感するためにインターンに応募しネット広告のCTR予測について5日間取り組みました。CTR予測とはネット広告が表示される流れとして、ユーザがサイトに訪問したときに広告リクエストがアドネットワークに送信されます。そのリクエストに含まれる情報により、広告主側が入札金額を決定し、その入札に勝った広告主の広告がサイトに表示されます。このとき、広告主側は当然クリックの確率が高いユーザへ広告を流したいので、リクエストに含まれる情報から広告が表示されたときのクリックの確率を予測するというのがCTR予測です。本記事では2~4について言及していきます。データを特徴量に変換するDBから取得したデータを予測に役立ちそうな形式(特徴量)に変換します。DBにtimeと呼ばれる広告が表示された時刻を記録したデータがある場合、hourのような時間帯の情報に変換したり、土日か平日かなどに変換するといったことが挙げられます。貰った処理例から変数を減らすなどを検討しました。特徴量をモデルに入力し、学習させる2で変換した特徴量を機械学習のモデルに入力、学習させます。モデルには主成分分析ロジスティック回帰を用いました。カテゴリカルな変数が多く入力次元数が数千となったため、主成分分析で次元圧縮を行い、ロジスティック回帰に入力しました。5%を残すランダムサンプリングをしたのですが、それでも膨大なデータが残っていました。ハイパーパラメータの探索にOptunaを用いました。データしかないので、適切な評価指標を定めにくいという問題があります。そこで、予測確率と正解ラベルのないクリック確率の近さを測るキャリブレーション精度により評価します。(こちらの記事をご参照ください。期待キャリブレーション誤差の結果、私が改良した処理の結果の方が誤差が小さいですが、キャリブレーションカーブを見ると対角線から離れたグループがより見受けられる結果となりました。深くは検証していませんが、貰った処理例で使われている変数を減らしたのと、主成分分析が結果に出たかなと思っています。Word2Vec)こんにちは!5日間インターンに参加させて頂いた中島です。昨...2018-09-07アドテクの会社でCTR予測をしてみた。初めまして、3/5から1週間インターンとしてお世話になりましたt...2018-03-12「そのアプリ、広告あるんですか?」2値分類こんにちは。ピザが大好きg_takahashiです。本番サーバを止めてみたよ。Are青山のアドテク会社。アドネットワークやDSPを開発・運用。サーバを止めてみたよ。インターン:実業務体験編インターンでCTR予測をしましたSearchArchiveスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。