bsfilter

水口です。 お世話になります。

Spam発信ソフトの固有の特徴がメッセージヘッダーに現われないかと思い立ち、調べてみました。


調査対象は、私自身が最近1年間に受信した Spam 28524件と Clean 1774件で、「メッセージが含むヘッダー名」に注目して「Spam/Clean メッセージがそのヘッダーを含む確率」を調べました。 対象をヘッダーの名称に限定すれば、ヘッダー個別のパース処理が不要で bsfilter にとっても扱い易いと考えたからです。

私はベイズ理論を理解していないので結果を評価できないのですが、メッセージに含まれるヘッダーの名称を tokenizer として扱う様にするのが bsfilterとして可能ならば、検討して頂けないでしょうか？


調査結果は http://www2.famille.ne.jp/~zxcv/poi/CkHdr.html に置いていますが、以下に私にとって興味深い部分を紹介します。

各明細行は、Spamメッセージがそのヘッダーを含む率・同じくCleanが含む率・ヘッダー名 の項目順です。


1 「無ければSpam」グループ
これらは MUA か最初の MTA が付けるヘッダーのはずです。 これが漏れるのは、MTAに成り済ますヘボいソフトから発信されたとか、最初の MTA が spamer に管理されるヘボサーバーとかの事情でしょうか。

94% 100% date:
94% 100% message-id:


2 高Spam度グループ

　8%　 0% x-ip:
　4%　 0% x-magazineid:
　4%　 0% x-message-info:
　4%　 0% x-uid:


3 高Clean度グループ
私が参加するメーリングリスト固有のヘッダーが少なからずあります。
　0%　27% authentication-results:
　0%　 7% content-disposition:
　0%　54% in-reply-to:
　0%　54% references:
　0%　10% x-face:
　0%　21% x-ml-count:
　0%　 3% x-pgp-fingerprint:
　0%　21% x-sendinghost:
　0%　 1% x-weather:


4 意味不明グループ
これらは、頻度は少いもののSpamだけに現れます。 一般的な smtp ヘッダーでは無い様で、私が欲しかった Spam送信ソフト固有の特徴かも知れません。
http:
pro-private.commessage-id:
servbright.commessage-id:



このあとは以下の調査をしようかと考えていますが、これらにかかわらず有用そうなテーマがあればご指示ください。

・Spam 発信ソフトの自己宣伝がヘッダー中に無いか？

・意味不明グループの中身の調査