Embedding)について調べたのでメモを簡単にまとめる。ここ最近の自分の興味が自然言語処理に向いていて、その基礎となる概念として調べる必要があった。単語の分散表現とは単語の分散表現とも言われる。深層学習ベースの自然言語処理で単語を表現する手法。語彙の特徴を表現するベクトル空間に、単語の特徴量を表すベクトルを埋め込むことで語彙を表現する。単語埋め込みの簡易図(字が汚い手書きで申し訳ない)なにが嬉しいのか単語同士のベクトルの距離を比較することで類似度や関連性を計算できるようになる。図1の例を利用すると...「ネコ」と「ペルシャネコ」は距離が近いため、類似度も高く関連性も高いと言えそうだ「ネコ」と「犬」は距離が遠いため、類似度は低めっぽいが「ぞうきん」に比べれば近いので関連性はありそう「ぞうきん」と「犬」「ネコ」は類似度も低いし関連性も低そう分散表現はどうやって獲得するの?言語モデルを通して学習することによって獲得できる。代表的なモデルニューラル言語モデルCBoWモデルskip-gramモデル特にCBoWやskip-gramは、word2vecで使われている。最初の説明に書いたものをそのままコピペするようだけれど...「語彙の特徴を表現するベクトル空間に、単語の特徴量を表すベクトルを埋め込むことで語彙を表現する。以下の2つの概念が組み合わさって「単語の分散表現」という概念を構成している。【ニューラルネットワーク方面からの由来】そもそも「分散表現」という用語は、認知心理学とニューラルネットワークの研究が起源。1950年代から「分布仮説」という考えがある。これは「単語の意味はその単語が使われた周囲の文脈によって決まる」という仮説。この仮説に基づいて得られたベクトル表現も「分散表現」とも呼ばれた。初期のニューラル言語モデルが分散仮説の考え方をそのまま利用している考えれるようなモデルだった。そのため、ニューラルネットワークの分散表現を獲得するのに分布仮説を用いてると解釈でき、両者の考えが統合されていった。2019(その2)の...2019-11-04NAISTに入学して一ヶ月が経ったので近況報告。正確には一ヶ月と二日経ちました。NAISTに...2019-09-30退職をしてNAISTの修士課程に入学します※これはポエムであり、自分語りです。時系列順に書き連...2019-08-13ジョブ理論を読んだけれど、読み甲斐のある一冊だったジョブ理論を読んだ。ソフトウェア設計についてのポエム。はてなブログProWebエンジニアやってます。sudoを使えないLinuxのユーザがPackageを管理するための魔法の杖NAISTに入学してからもうすぐ3ヶ月が過ぎます。Base"とはなにか、そしてその可能性。NAISTに入学して一ヶ月が経ったので近況報告。退職をしてNAISTの修士課程に入学します月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。