分12前回はロジスティック回帰モデルを紹介し,その負の対数尤度関数まで求めました。「学習」というとなにやら高尚で複雑な響きがありますが,機械学習が実際にやっているのは,適当なモデルを決めて「一番良い」パラメータを選ぶことでした。何を「一番良い」とするかは難しいところですが,機械学習の多くのモデルでは「誤差が最も小さい」あるいは「尤度(観測された事象の確率)が最も大きい」といった指標で「一番良い」を選びます。「関数を最小(または最大)とするwを求める」ところに落とし込まれるわけです。この「関数の最小化」を「最適化」と呼びますが,これは一般にはとても困難な問題です。1次元空間上の話なら中学や高校の数学で解けますが,機械学習の問題の多くがそうであるように,何万次元もの高次元空間上で厳密解を求めるのは不可能に近いくらい難しいことです。そこで関数最適化の分野では様々な近似解法が開発されてきました。ポピュラーな近似最適化手法の1つです。ついて簡単に復習します。ランダムに1つ取ったデータ点xnにおいて,次の式でパラメータを更新していきます。勾配さえ得られればとても簡単に実装ができ,高速に解を求められるという特徴があります。大規模データに対して適用しやすいため,特に最近は好んで利用される傾向にあります。局所解に捕まりにくいというメリットもなかなか見逃せません。あれあれ,なにやらいいことずくめのような書き方になってしまいましたね。念のため注意しておくと,どのような問題に対しても高速で局所解に捕まりにくい,というわけでは決してありません。問題によっては確率的勾配降下法より良い最適化手法があるでしょう。解きたい問題や求めたい解にあわせて手法を選ぶ必要があるという点は忘れずにいたいですね。ロジスティック回帰の学習では,確率的勾配降下法を使ってロジスティック回帰の学習手順を導きましょう。確率的勾配降下法で負の対数尤度関数E(w)を最適化するには,訓練データの各点に対応するEn(w)の勾配が必要です。並べたベクトルですから,この偏微分を計算しましょう。この連載では基本的に途中の計算過程を省いていましたが,実はロジスティック回帰は勾配が簡単に書けることが最大のポイントであるため,今回は少し丁寧に式展開します。微分をきれいに片づけるために,ちょっとしたテクニックを使います。σ(t)の微分をあえてσ(t)を使って表します。すると,ynの微分をシンプルな形に書き下すことができました。これを元の式に代入すると,うまく行き過ぎ,と言いたくなるくらい簡単になりましたね。勾配は各wjごとの偏微分を束ねたベクトルであることを思い出すと,最終的にEn(w)の勾配は次のようになります。よって学習率をηとすると,確率的勾配降下法によるパラメータの更新式は次のように書けます。iVocaをサービス提供している。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。