日本語スパム向けチューニング中なんか連休以降Bogofilterを抜けてくる日本語メールが多くなってきました。スパマーどもも連休中にベイジアン対策文章の研究とかしてたんでしょうかね(苦笑)まぁ、ちょうど連休の頭にBogofilter後の次善処理をチューニングしたばっかりで、現在良いテストになっていますが(笑)とりあえず、ここ数日は次善処理のおかげで英語はもちろん日本語スパム(日に7〜10通底度)も識別率100%でフィルタリングできてるので、もうしばらく動かして問題ないようならフィルタリングルールを公開したいと思います。いうか、プロバのアドレスも一度も晒しても居ないのにスパムの爆撃が酷くなってきたのでこのGWからよくわからん相手からのメールは全部フィルタリングしているサーバに飛ばすようにしました。現在のところ、転送で飛んできたメールも含めて全部無効化できているのでしばらくはこれでメールボックスにクズメールが届くことが無くなりそうです。↓の対策を行っていると、何となくprocmailのログに残るエラーの内容が気になってきたので、対応することにしました。ignoredですが、これは余計なところでcフラグをつけているとなるようです。レシピにだけ意味がある。このフラグが唯一有効な非配送レシピは入れ子構造にて使われる場合である。(ロックファイルは継承されない。これによってクローンは普通に実行され、親プロセスはこの時点のブロックの処理を飛ばして次に進む。23時42分6秒パイプでコマンドに渡す場合もつけないと消えます(^^;っていうか、fオプションがついている所にcをつけるとエラーになるのをパイプは全部c要らないのかと思って外したのが失敗。/var/mail/ユーザ名.loclこれは「/var/mail」への書き込み権限が無いため。調べてみたら「/var/mail」ディレクトリの書き込み権限はmailグループ権限が有ればいいようだったので「/etc/group」のmailグループに自分のユーザーを追加で解決しました。トラックバック(0)日本語スパム退治のススメ(1)基本的に.comなアドレスや.netなアドレスをメインに使っているおかげでこれまでは英語メール→スパム日本語メール→必要な物と言う棲み分けができていたのですが、最近はスパマーも日本語ページにあるメールアドレスにはとりあえず全て送りつけるという方針に切り換えたようで、1度でも晒したメインのメールアドレスにはほぼ例外なくじわじわspamが届くようになりました。これまでほとんど日本語spamの撃退経験が無いうちのbogofilterはそれらをほとんど素通しして役に立たず・・・なので意を決して、晒し用に使っていたフリーのメールアドレス(日本語スパムも当然多数来る)をメインアドレスへの転送設定に切り換えてbogofilterへの学習強化を図ることにしました。最初の3日間ぐらいはほぼ全て筒抜けという状態で、いちいち-Nsオプションで最学習する日々が続きましたが、その後徐々に効果が出てきて、3週間ほどたった現在は大体7割前後の確率で落としてくれるようになりました。それでも、日に3通程度はまだコンスタントに抜けてきちゃいます。これがせめてspam確率8割ぐらいなら閾値変更で乗り切れるのですが、現状では抜けてくる3通は5割程度と言う評価なため、閾値ではどうしようも無い感じです。bogofilterが自信がないときにUnsureと言う評価を出すことを利用して次善処理を行うことにしてみることとしました。実装したてで実績がほとんど無いので、数日動かしてちゃんと落とせている用なら、またエントリとしてまとめたいと思います。-uさえしておけば良さそうな感じだったので入れ替えることに。最近利用している通販サイトからの日本語の広告メールを受け取っているせいか、日本語スパムが週に2通程度の確率で抜けてくるようになりました。ウィルスとかはたとえ抜けてきても一度覚えさせればそれっきりなんですが、日本語スパムはどうも一度抜けた業者のメールは、何度ダメだと学習させても抜けてくるのでイヤな感じです。件名に未承諾広告が入って居るメールぐらいはちゃんとドロップして欲しいなぁ。トラックバック(0)2004年07月26日だめだめOCNどうもうちのBogofilterとむちゃくちゃ相性の悪いスパムですが、ぶっちゃけると「delivery@hosyou-r.mine.nu」からのスパムです。お時間をいただければと思っております。止、契約解除の措置をとっております。通報済みで、しかも2ヶ月以上も手をこまねいているのですか(苦笑)っていうか、うちでの受信分は全部丸の内OCNなんですが、毎回アカウント停止しているとしても一体何個アカウント取られてるのやら。それともたんに腰が重いだけなのか、どちらにしても今時のプロバイダとしてはいけてないことこの上ないですな。昔はOCNと言えば一流プロバでしたが、現状を見る限りもうただのスパムの温床ですな。抜けるスパム・落とすメール最近Bogofilterさんにspamではないメールドロップされてしまいました。̄|○まぁ、ドロップしてもspam置き場に送るだけなんで内容は後から確認できましたが、やっぱりこの手の短文自動応答メールの扱いは苦手な感じです。それから、先日は日本語spamを見事にスルーされてしまいました。́д`)ノもちろん見逃すたんびに最学習しているんですが、何度やってもスルーしてくれるのでもう断念して気持ち悪いと思いつつスパム送信解除手続きしてみました。いうか、未承諾って書いてないんで◆違反メールに関する情報提供のお願い◆や使っているプロバに通報してもいいんですが、ネットに載せた記憶があんまり無いアカウントなんでなんかの登録の時にうっかり規約に書いてあったかもしれないなぁと・・・(誰かの嫌がらせの可能性もありますが・・・(苦笑))にしてもなんで抜けて来るのかなぁ。最近Bogofilterの性能を試すために二つぐらいメルマガ入ったのが原因かなぁ・・・やっぱり、単語からだけでの分析では限界があるのかもしれませんね。新手のspamメール最近週に200通は下らなくなったスパムの攻撃ですが、それだけ多くなると新手の含有量も多くなるらしく週に1通ずつぐらいフィルタを抜けてスパムが手元に届きます。先日はページ移転しました。URLとだけ書かれた移転告知を装ったspamが抜けて来ましたし、ビジネスライクな言い回しのspamなんかも抜けて来て困ったこともあります。̄|○しかもメールの本文自体はありがちな英語の文句が書いてあるだけで、これといった特徴がない困った状態。bogofilterにスパムだよと教えてあげましたが、たぶん学習はうまくいってないので今後も抜けてきそうで非常にイヤな感じです。いうか、こんなspamばかりになったら学習型フィルタでも対応しきれないので、もっと抜本的な対策が必要になりそうです。トラックバック(0)2004年04月07日DBの統合(Update)今まで全く不満が無かったため特にいじってなかったbogofilterをなにげにバージョンアップしたらこんなエラーが出ました。status!調べてみたら「goodlist.db」と「spamlist.db」が「wordlist.db」に統合されるというBogofilter0.7以来の大規模なデータベース形式のバージョンアップがあったようなので、そのアップデート手順を書いておきます。~/.bogofilter上記のコマンド一発でwordlist.dbができあがります。試した感じじゃ精度は落ちてないようなので、乗り換えても安心っぽいです。DBが見つからないと言うことみたいなので、ダウンロードページから落として入れようかと思い4.2.52をダウンロード開始。落ちてくるまで多少時間あったのでどこに入れようかと徘徊していたところ、/usr/local/にBerkeleyDB.4.1を発見(笑)どうもインストールした人が入れてくれたもののようなのでありがたくそれを使うことにして次のようにconfigureの引数を渡す。19:38ほとんどメールアドレスをさらさなくなった今でもたまーにウィルスメールがやってきます。14:57Bogofilterでの捕獲spam数が200通を超えたのでひとまず経過報告を。肝心の識別結果は見逃し2通誤爆1通という結果にました。実際の使い方ですが、まずbogofilterにどういうメールがspamでどういうメールは普通のメールかを教えてあげなければなりません。どのメールを覚えさせるかですが自分の所に来たspamを律儀に取っている人は、それをbogofilterに食わせてあげればよいです。bogofilter自体は以前に↓のサイトを見て知っていたんですが、導入したのはほんの先日だったりします。ウィルスメール経過報告bogofilter(2)bogofilter(1)Archives2010年12月[2]2010年10月[5]2010年03月[1]2010年02月[3]2009年12月[4]2009年11月[3]2009年10月[2]2009年09月[1]2009年07月[1]2009年06月[4]2009年05月[4]2009年04月[2]2009年03月[3]2009年02月[16]2009年01月[5]2008年12月[10]2008年11月[10]2008年09月[2]2008年08月[1]2008年07月[1]2008年06月[3]2008年05月[6]2008年04月[2]2008年03月[4]2008年02月[20]2008年01月[15]2007年12月[12]2007年11月[18]2007年10月[7]2007年09月[6]2007年07月[4]2007年05月[5]2007年04月[2]2007年03月[1]2007年02月[2]2007年01月[1]2006年12月[10]2006年11月[8]2006年10月[10]2006年09月[10]2006年07月[10]2006年06月[10]2006年05月[10]2006年04月[14]2006年03月[10]2006年02月[12]2006年01月[10]2005年12月[13]2005年11月[17]2005年10月[21]2005年09月[16]2005年08月[18]2005年07月[31]2005年06月[18]2005年05月[27]2005年04月[12]2005年03月[31]2005年02月[31]2005年01月[31]2004年12月[31]2004年11月[30]2004年10月[31]2004年09月[31]2004年08月[31]2004年07月[31]2004年06月[31]2004年05月[31]2004年04月[29]2004年03月[29]2004年02月[32]2004年01月[26]2003年12月[28]2003年11月[31]2003年10月[35]2003年09月[19]2003年08月[15]2003年07月[37]2003年06月[9]。