MinHashを実装してみた。タチコマ好きなエンジニアのブログスマートフォン用の表示で見るタチコマ好きなエンジニアのブログこの広告は、90日以上更新していないブログに表示しています。MinHashを実装してみた。MinHashを実装してみた。ビット数は1、ハッシュ関数の個数は128で計算させている。1ビット値は最初から50%の確率で衝突するので、単に一致した回数をkで割っただけでは、真のJaccard係数が0の場合でも0.5くらいの推定値が出てきてしまいます。ことなので、一致数をハッシュ関数の個数で割った値から0.5を引いて2倍したものを表示させてみた。(calc_jaccardのコメントを外すと表示される)だいたい0.4に近い値が出るので多分合っているはず。ベンチマーク的にはMinHashと大差がなかったけれど、popcountの処理をきちんと実装すれば速くなるかもしれない。MinHashをRubyで実装してみた。前にLSHを触ったことがあるからか、あまり違和感なく実装することができた。(ちょっと調べてみたところ、ベクトルの近さの指標にjaccard距離を用いたLSH=MinHashであるらしい。)SmartNews開発者ブログにも書いてあるけれど、本文抽出や特徴語抽出などの前処理の結果が類似度の計算には結構響いてくると思う。いう部分の実装に各サービスのノウハウがありそう。内部の仕組みを想像しながら勉強すると理解が深まりそうでよさげな感じがする。MinHashを実装してみた。Tweet広告を非表示にする関連記事2013-08-14RubyでMinHashを実装してみた。MinHashによる高速かつ省スペー...2013-01-07gemパッケージの作り方メモ。この前作...2012-12-16HTMLからRSSフィードを検出するRubyスクリプトを作ってみた。ブラウザのアドレスバーに表示されるRSSフィードはどんな仕組み...2012-06-16MacでThriftを試してみる。C++のプログラムをサーバにしてRubyのプログラムからAPIのよう...2012-03-27Rubyから「はてなブックマークエントリー情報取得API」を叩いてみた。RubyでMinHashを実装してみた。最新記事Rustで「Java言語で学ぶデザインパターン入門」をなぞってみた。MacでIkaLogの動作環境を整える。GolangでHTTPサーバのモックを使ってテストを実行する。ServerspecのDockerバックエンドでコンテナをテストする。Golangでクロスコンパイルをする。Golangでバンディットアルゴリズムを実装した。GolangでRSSをパースする。GolangでMeCabを使う。GolangでSVMを実装した。Golangでパーセプトロンを実装した。月別アーカイブはてなブログをはじめよう!yukihir0さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。