bsfilter

水口です。 お世話になります。

とうとう来ました、&#nnnn; 形式で日本語文字を表現するSpam。

メール形式は multipart/alternative で、内容は以下です。
第1part： text/plain; charset="iso-8859-1"
第2part： text/html; charset="iso-8859-1"

特徴的なのは、本文中の全ての日本語文字が 多彩 の様に数値文字参照で表現されていること、特に text/plain パートについても数値文字参照が使用されていることです。

Spamフィルターを突破する手段としてこんなヘンな形式にした可能性もあると思います。 今後増えて来る場合に備え、bsfilter 1.0.15 の動作について少し考察してみました。

==========================================
1 html part の処理
何点か見た限り、数値文字参照を解決して正しい bigram 処理がされています。

例えば、以下は html パート中の本文の一部です。

現在最大級のプログレッシブ オンラインジャックポットなど多彩

先頭の「現在最大級」も最後の「多彩」も正しく bigram 処理されています。

==========================================
2 text part の処理

plain text では数値文字参照が定義されていないので、「29694」とかの数値自身が tokenizer になります。 これらの tokenizer は、spam score が非常に低いです。 この手の spam がこれまでは少く、学習されていないからですよね？

==========================================
3 問題点

このメッセージは、最終的に X-Spam-Probability: 0.500000 で clean と判定されてしまいました。 恐らく、text part に大量に含まれる spam度の低い tokenizer に影響されたんですね。

今後、この種の spam が増えてきた場合には、何らかの対策が必要では無いでしょうか?

例えば、多くのユーザーが使用するMUAが text/plain 中の数値文字参照をも処理するならばそれに合わせるのが有効では無いかと思います。