2008」が開催された。このカンファレンスに関するガルシア博士の記事を見た後で、僕は各論文を読み、そのうちいくつかについてハイレベルな要約を書くつもりだった。2008カンファレンスにおいて、ウェブスパムのコンテストが開催されていたのを知るや、僕の関心は別の方向へと向かっていった。ガルシア博士の怒りを買うのを覚悟の上で(以前に僕は彼を怒らせてしまったことがある)、僕は面白半分に、独自のスパム検出アルゴリズムを開発した。したら、そのアルゴリズムが驚くほど良好に機能したんだよ!僕は自分のプロジェクトの方針を変え、ドメイン名がスパム的かどうかをチェックするツールをテーマにした。このツールについては、いかなる約束もできない。君が上質のドメイン名を欲しいと思っているのなら、あるいは少なくとも、明らかにスパム的でないものが欲しいなら、気の利いたツールになるかもしれない。この画面のテキストはWeb担編集部で日本語化してある。更新情報:以前のバージョンにはいくつかバグがあったので、それらを修正した(だが僕がまだ把握していない他のバグに関しては未修正)。したがって、現在は(少なくとも若干は)良くなっているはず!皆さんは、おそらくスパム検出の基本的な考えについて理解していると思う。検索エンジン(およびウェブサーファー)は、スパムページが嫌いだ。極上のスパム検出モデルを持つ博士号タイプの人材と、巨大なデータセンターを持つ検索エンジンの支援、そして先端的な研究への資金供与、これらがあれば、僕が作ったツールよりもかなり優れたものができる。rate)」に注目してみるとおもしろい。完璧なアルゴリズムは、真陽性率が100%(すなわち1.0)(すべてのスパムをスパムとして検出)で、偽陽性率が0%(非スパムページがスパムとして検出されることがゼロ)だ。カロリーがゼロで、しかも美味しいチョコレートなどというものがないように(そんなことはないと言ってくれ!)、完璧なアルゴリズムもめったに存在しない。したがって、トレードオフというものに直面することになる。すべてをスパムではないと判定すれば、偽陽性率はゼロになる。これは下のグラフの原点(x=0かつy=0)にあたる。一方で、すべてをスパムと判別するなら、検索結果にスパムページが顔を出すことはなくなる。当然ながら、(すべてスパムと判断したため)どんな検索を行おうが何もページが出てこないのだから、検索業界の人間は全員新たな職を探す羽目になるだろう。僕の場合、妻のロックバンドでツアーの裏方でもやるのかな。下のグラフで、このトレードオフの関係を説明してみよう。2008カンファレンスのコンテスト結果に僕の素敵なアルゴリズムも加えて、新たにプロットし直したものだ。直線「y=x」は、スパム判定を無作為に行った場合(真陽性率と偽陽性率が等しい)で、これが基準となる(グラフがこの直線よりも下にあるスパム検知ツールなんて役立たずだ!)。2008カンファレンスにおける実際の結果(PDF)。このグラフを見れば、僕のアルゴリズムが優秀なのは一目瞭然だ。fair」のラインは後で触れるので、ここではひとまず置いておこう。unfair」を見ればわかる通り、偽陽性率が10%(0.10)のところで、僕のツールは首尾よくスパムページの50%(真陽性率0.5)以上をスパムと判定できており、カンファレンスで一番成績の悪かったアルゴリズム(Skvortsov:同じ偽陽性率のときに真陽性率39%)よりも優れているばかりか、最高の成績を示したアルゴリズム(Gengおよびその他:同じ偽陽性率の時に真陽性率55%)に迫る成績を示している。何もかもすばらしい我らがインターン、ダニー・ドーバーと開発チームの秘密兵器ベン・ヘンドリクソンの助力だけで、わずか2日間で開発した僕のアルゴリズムSpamDilettante®(特許申請中!)は、有害情報研究において最も優秀で頭脳明晰な複数の研究者たちを負かしたんだ。実は......fair版の解説さて、グラフというものは嘘つきだ。いうことなのか説明しよう。嘘のない部分はどこかというと、僕のアルゴリズムは本当にスパムを判別する。それと、リンクグラフを使用したり、複雑なカスタムウェブ機能を採用したり、演算処理に膨大な時間を費やしたりすることなく、本当にわずか2日間でこのアルゴリズムを開発した。fair」のラインが示している。僕は、Randが書いた大人気のブログ記事には載っていないスパム判別指標から着手した。Randの記事には優れた項目が実にたくさん掲載されている。僕が実際に上手く計算に織り込めなかった項目も多い。コンテンツに占める広告の割合が高いユニークコンテンツの量が少ない直接的なビジターがほとんどいない信頼の置ける情報源由来のリンクを得られない傾向が強いグーグル、ヤフー、MSNのローカル情報サービスに登録できそうにない非常に信頼性の高いウェブサイトと、多くのウェブページを間に介してリンクしているユーザーエージェントまたはIPアドレスに基づくクローキングをしていることが多い例を挙げればきりがない。した項目は、検索エンジンの支援を受けた一部の研究者たちですら把握できるものではない。僕は、こういうのを無視したんだ。優秀な研究者たちも気にしないんじゃはないかな?ただしドメイン名のみから、以下のような事項はアルゴリズム化することができた。長いドメイン名.info、.cc、.usなどの、簡単に取得できるTLDドメイン名に、商業価値の高い、一般的なスパムキーワードを使用しているドメイン名に複数のハイフンを含む傾向が強い.comあるいは.orgなどのTLDでないことが多い.mil、.eduまたは.govなどのTLDであることはまずないしたがって、これらの要素を基に直線回帰(非常に単純な統計モデル)を用いて分析すれば、かなりすばらしい結果が短期間で得られるだろうと僕は考えた。そこで、ダニーをはじめとするSEOmozのメンバーを駆り集め、ある程度無作為に選んだ(しかし有効な)ドメイン名を比較的短いリストにまとめてもらった。ダニーはあらゆる種類の怪しいページを閲覧するのに、とある日の午後を費やした。ダニーがこんなページを見ているのもSEOmozの仕事としてなんだから、指導教授(と家族)には安心していただきたい。最終的に僕らは、収集したドメイン名のうちおよそ3分の1をスパム、そして3分の1を非スパムと判定し、残りの3分の1については「不明」(主に、すばらしいコンテンツを含んでいそうな英語以外のサイト)とした。みんなの熱心な助けを得て、僕は上記の要素を抽出するスクリプトを(Pythonコード数行で)作成した。僕はスパムまたは非スパムと判定した全体の3分の2のデータについて、その80%を「訓練用セット」、残り20%を「テストセット」に分けた。すべてのデータについて、判定結果がわかっていれば、スパムであるドメイン名とスパムでないドメイン名をコード内に組み込むことができるので、この作業は重要だ。この手を使えば、成功は君のものだ(「完璧な」アルゴリズム云々の話を覚えているかな?)。僕はこの80%のデータで直線回帰分析を行い、独自の分類アルゴリズムをものにしたんだ。性能を測るために、この分類アルゴリズムを残りの20%にあたるテストセットに適用してみた。このアルゴリズムは、基本的に「0.87655」といった数値を結果として返すのだが、この数値はそのドメイン名がスパムである可能性だと考えてもらっていい。上のグラフの曲線を得るために、スパムと判定する基準値(たとえば、可能性が0.7より大きいならスパム、そうでなければ非スパム)をいろいろと変えて試してみた。やって偽陽性(スパムでないのにスパムと識別)と偽陰性(スパムなのにスパムでないと識別)のバランスを調整し、上のような曲線となった。以上のようにして、僕のツールは研究者たちを上回る成績を上げたというわけだ。オッケー、少しの間現実に戻ろう。コンテストの紹介(PDF)を見てもらいたいんだが、僕のデータセットは分類がはるかに容易な問題だ(すべてのドメイン名が判定済みで、種別の偏りがほとんどない)。レベッカが言っているように、「.infoや.biz、そして.netドメイン名の多くがスパムだというのは、『SEOの常識』の1つに過ぎない」わけで、僕のデータセットには、こうした「格好の標的」が数多く含まれている。ところが、今回のコンテストで使用したのは、すべて.uk(さらにいうなら主に.co.uk)ドメイン名だった。僕のデータセットは非常に小規模で、サンプリングに関しては、おそらくあらゆる種類の問題を抱えていると思われる。僕のツールが出した結果は、おそらく一般化できない。これらは推測に過ぎない。僕はコンテストで実際に使用されたデータセット(URLと種別のみ)をダウンロードし、自分の分類アルゴリズムに通してみた。すると、強力だった僕のシステムが、にわかにそれほど優れたものに見えなくなってしまった。ある教授が各ツールに評点をつけてくれたんだが、それによると、僕のツールの評点は「とても悪い」よりたった1段階上の「悪い」にとどまっているそうだ。コンテストにおいて僕よりも優秀で、最も近い成績だった人の評点は(もちろん「並」を越えて)「良い」で、最高の成績を示したシステムの評点は「とても良い」のクラスだ。僕が検出ツールを手がけるきっかけとなった元記事でガルシア博士が述べているように、「振り出しに戻ってやり直すとき」なんだな。掲載された以下の記事を日本語訳したものです。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。ネット広告への強い嫌悪感、テレビや新聞の倍以上に。いいね!伝説のTwitter企業アカウント“中の人”の先駆け。いいね!「おもてなし」は思考停止ワード。いいね!私は変人コレクター。いいね!続き最新のニュースデジタルによる「仕事の自動化」、日本は無関心な人が主流。“スキル不足PM・名ばかりPM”問題、サポートや教育が足りない企業側に原因?【ネオマーケティング調べ】アマゾン日本事業の売上高は約1.7兆円【Amazonの2019年実績まとめ】アドビが「Photoshop」デスクトップ版と「iPad」版に新機能を追加、誕生30年の記念で「おもてなし」は思考停止ワード。Patterns』を3名様にプレゼント!【受付終了】企業がDXに向かう取り組み方を考える『デジタルファースト・ソサエティ』を3名様にプレゼント!すべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。