POPFile(自動メールフィルター)の日本語化

あまり詳しくはないのですが、得点は頻度をもとに

(ln(頻度)-ln(コーパスにない単語の頻度))/ln(10)

として計算されます。（ln は自然対数）

コーパスにない単語の頻度（確率）は
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_FrequentlyAskedQuestions/NewWords
にありますように、1/(10*コーパスの大きさ(=単語数)) ですから、

(ln(頻度)-ln(1/(10*単語数)))/ln(10)

となりますが、これをもう少し単純な式に変形すると

得点=log(頻度)+log(単語数)+1

ということになります。（log は常用対数）

なぜここで対数が出てくるのかといいますと。
メールをどのバケツに分類するかについては
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_Glossary/Bayesian
のような計算をするのですが、その際には 1 よりも小さな数を
たくさん掛け合わせることになり、どうしても誤差が生じてしまいます。
これを避けるために、確率の対数をとってそれを足しあわせる
ようにしているのです。そのあたりの説明は、英語ですが
http://sourceforge.net/docman/display_doc.php?docid=13648&group_id=63137
に書かれています。

どのバケツの確率がいちばん高いかを計算するためには log(頻度)
を使うだけで実際には UI に表示される「得点」を使っている
わけではないのですが、マイナスの数字が並ぶよりも 1 以上の
数字が並んだ方がわかりやすいだろうということでそういう値を
表示しているのではないかと思います。
（もちろん、この「得点」を計算するときに使っている
　ln(1/(10*単語数)) の部分はすべてのバケツについて等しい
　値なので、「得点」を使ってバケツごとの確率を計算しても
　同じ結果になるわけですが）

こんな内容で参考になるでしょうか。

参考にさせていただいて、計算してみます。
ありがとうございました！