IIR16章は、フラットクラスタリングについて。クラスタリングクラスタリングとは、データセットをクラスタと呼ばれるサブセットにグループ化する手法。データの類似度を基にクラスタに分ける。教師なし学習(訓練データで学習せずに、データの分布などなどからデータのデータの特徴的パターンを見付ける学習法)である。ちなみに、前章までで説明してきたような、人手で作成した訓練データを使ってデータを分類する学習法を、教師あり学習という。クラスタリングは、再現率向上に役立つ。含むクラスタ内の他のドキュメントも結果として返すことができる。クラスタリングの目標は、関係性のあるデータが同じクラスタに属させ、関係性のないデータは違うクラスタに属させること。気をつけるべき点は、以下のようなことである。クラスタ数を適切に定める大きすぎる、または小さすぎるクラスタは避けるユーザにとって分かりやすいようにクラスタリングするクラスタリングには、大きく分けて以下の2種類がある。フラットクラスタリングクラスタ間に関係性がないようなクラスタリング階層的クラスタリングクラスタ間に階層的構造を見出すようなクラスタリングまた、以下のような2種類にも分かれる。ハードクラスタリング1つのデータは、1つのクラスタに属する。ソフトクラスタリング1つのデータは、複数のクラスタに属してもよい。この章では、フラットクラスタリングについて説明する。K-meansK-means(K-平均化法)は、クラスタリング手法の中で最も有名である、フラットかつハードなクラスタリング手法。以下にアルゴリズムを示す。1.各データに対してK個のクラスタにランダムに割り振る。2.各クラスタのセントロイドを求める。3.各データを、それと最も近い重心のクラスタに割り当て直す。4.2,3を繰り返し、クラスタが変化しなくなったところで処理を終了する。K-meansの欠点としては、初期値のクラスタによって結果が変化し、場合によっては最適なクラスタリングとならないことである。この欠点を補うために、以下のようなことを行う。初期値をランダムではなく、ヒューリスティックな手法で決定する。階層的クラスタリングを用いる。異なる初期値で複数回K-meansを適用し、その中で最もよい結果を最終的な結果にする。するとo(IKMN)であり、階層的クラスタリングと比べてコストが低い。ちなみに、K-meansを一般化して、ソフトクラスタリングを実現するアルゴリズムである、EMアルゴリズムというものもある。以下、代表的な2つの手法を説明する。Purity(純度)各クラスタにおいて、最も多く含まれたクラスタに属する正解クラスタの要素数の割合の加重平均。cj}上図の場合、次のように求まる。index以下の式で定義される。0.68他の評価手法としては、NMI(正規化相互情報量)やF値などがある。Kの決定法クラスタ数Kはどのように決定すればよいのか。以下、2つのアプローチを与える。1.1つのクラスタから始めて、クラスタ数を順に増やしていくことにより最適なクラスタ数を探す。その際、新しいクラスタに対してペナルティを与える。2.以下のグラフで、「ひざ」となる部分、すなわち急激に傾きが変化している部分を見付ける。CLOSET超音波通信を利用したiPhoneアプリも開発。(1)はてなブログをはじめよう!pika_shiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。