OSDN -- Develop and Download Open Source Software

Forums: users (Thread #7357)
Return to Thread list RSS

bsfilterの運用 (2005-04-03 18:19 by yoshiwo #13561)

運用報告を書いてみます。
知識不足による誤った解釈や判断に対する訂正や
運用アドバイスがあれば、どしどし書き込んでください。

このやり取りで、スパムに悩まされている人が一人でも減ると
幸いです。


bsfilterを数ヶ月運用してきて
bsfilterの恩恵をエンドユーザ（社員）に受けてもらうには
様々なハードルが見えてきました。

環境「Redhat 9 + qmail + bsfilter」

１．エンドユーザはフィルタリングされたメールを確認しない。

フィルタリングされたメールが100%スパムの状態が3日続くと
4日目からは、ほとんど確認しなくなる。

しかし、フィルタリングは続けて欲しいと言う要望があるので
「spam-cutoff 0.99」にするが、同じメールしかフィルタリング
しないので「spam-cutoff 0.95」に設定、クリーンメールの誤判定
によりビジネスチャンスを失っては元も子もないので、このラインが
限界。

上記の設定＋普段仕事で使用しているメールをクリーンメールとして
学習させると、クリーンメールの誤判定はほぼ無くなる。
（添付ファイル付きの学習を強化しないと、添付＝スパムになってしまう）

この状態で、各ユーザのフィルタリングメールを管理者が受け取るようにする
しかし、スパム対策専用管理者が必要なほど、時間を取られるので
最終的にスパムの行き先は「/dev/null」にしたい。
「/dev/null」にしたい理由はもう一つあり、ext2ファイルシステムの時
パフォーマンスの低下と２・３ヶ月に1度のハングアップがあり、調査の結果
HDDアクセスが頻繁すぎる事による、HDD断片化と不良セクタの発生が原因でした。
この現象はext3にアップグレードとHP掲載E-mailアドレス受信者を絞り、スパム
受信者を減らすことにより、劇的に安定しだしました。
この経験により、無駄なファイルアクセスはなるべく防ぎたいのです。

２．スパムメールと誤判定クリーンメールの報告をしない。

これは、ありがちなことですが「誰かがやるだろう」と言うのが一番の原因です。
この対策として、各部署にスパムメール報告の担当を一人つけてもらいました。
これにより、スパムメールが続くと担当者がグチられる事になる心理が作用し
スパムメールが報告率がアップしました。

３．スパムメールに似たメルマガを購読する者がいる。

これは現在の最大の悩みで、通販サイトを利用した際にメルマガを登録し
その広告がスパムメールと似ている為に、
「スパムメールの誤判定、クリーンメールの誤判定」の双方がおきだしました。
これもインターネットの初期に幹部社員が遊びに帯域を消費して
障害が起きたように、幹部社員のメールに通販メールが大量にやってきています。

また、通販メールには本人の名前が記載されているので、スパムとして学習させる事は
できません。

現在、通販メールをクリーンとして学習、スパムをスパムとして学習させ続けると
いつかは、正しく判定してくれるだろうと続けているしだいです。

Reply to #13561×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: bsfilterの運用 (2005-08-19 14:46 by yoshiwo #15877)

最近、SPAMがフィルタに引っかかってくれません。

原因は毎回送信元サーバのドメインが変わっているからだと思うのですが
何か良い案などないでしょうか？


よくくるSPAM↓
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
Received: from unknown (HELO mail.pre-min.com) (220.229.241.24)
by dcml01.trw.co.jp with SMTP; 17 Aug 2005 23:51:39 +0900
Received: (qmail 1944 invoked by uid 510); 17 Aug 2005 20:52:03 +0900
Date: 17 Aug 2005 20:52:03 +0900
Message-ID: <20050817115203.1942.qmail@mail.pre-min.com>
From: info@pre-min.com
To: hoge@hogehoge.jp
Subject: 認証されましたので…

■自己紹介■
　当サイトは普段の私生活や夫に不満を抱えてる奥様や独身女性の
集まりです。女性会員の資金をメインで運営しております。
　この度、貴方のアカウント(配信されたアドレス)は当会員制クラ
ブの〔特別準会員〕と認定されましたので、メールでお知らせさせ
て頂きました。
　　　　□簡単な無料登録と同時に特別会員へ移行□
　　　　　http://www.heart-cc.net?num=777
〔特別会員〕の方へ下記特典を用意しておりますので、是非ご利用
してみて下さい。

★2,000円分無料ポイント
認証不要で【2,000円】分の無料ポイントを進呈致します。無料ポ
イントでメールのやりとり、プロフィールの閲覧、写真の確認など
全ての機能が使えますので、ご自由にご利用下さい。

★〔※〕直メール送、受信可能
地域女性の希望より、最新登録情報を写メ添付で配信の上、直メの
紹介を行います。希望異性から直接貴方の宛先にメールが入ってく
る可能性も高いので、好みの女性情報を随時チェックしましょ
う！！！

特別会員としてのご入場をお待ちしております。

（特別会員移行）http://www.heart-cc.net?num=777










配信不要の方は此方
【Reception refusal address】
nomail@heart-cc.net

ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ

メールサーバをルックアップにかけると、どうやらラウンドロビンされてるらしく
複数のアドレスが出てきます。

Non-authoritative answer:
Name: mail.pre-min.com
Addresses: 220.229.241.29, 220.229.241.30, 220.229.241.31, 220.229.241.32
220.229.241.33, 220.229.241.34, 220.229.241.24, 220.229.241.25,
220.229.241.26
220.229.241.27, 220.229.241.28

アドレスを追跡すると、台湾や韓国に行き当たります。
かなり組織化されてそうです。



【環境】
bsfilter REVISION 1.67
bsfilter.conf ↓0.9以下にはしたくない
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
spam-cutoff 0.90
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ

使用方法
qmailの.qmailにて↓
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
| /var/qmail/bin/condredirect hoge-spam bsfilter
./Maildir/
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ

.qmail-spamにて↓（SPAM受信専門ユーザ)
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
&spammail
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
Reply to #13561

Reply to #15877×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: bsfilterの運用 (2005-08-20 11:09 by nabeken #15890)

まずは、以下のあたりから確認して下さい。
http://sourceforge.jp/forum/message.php?msg_id=15128

文面的には典型的なspamのようですので、一般的なdatabaseが出来ていれば、0.9以上のspam確率になりそうなのですが。いくつが表示されているのでしょうか。
Reply to #15877

Reply to #15890×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: RE: bsfilterの運用 (2005-08-23 12:15 by yoshiwo #15975)

nabekenさんには毎度親切に対応恐れ入ります。

【フィルタリングされなかったspamメール】
./bsfilter spammail/200508231142140002
combined probability spammail/200508231142140002 1 1.000000

【通常のメール】
./bsfilter Maildir/new/1124765663.32058
combined probability Maildir/new/1124765663.32058 1 0.000000

【フィルタリングされたspamメール】
./bsfilter ../spammail/Maildir/new/1124476780.1502
combined　probability ../spammail/Maildir/new/1124476780.1502.dcml01 1 1.000000

メール受信形態は
qmail->bsfilter->Maildir/new or spammailユーザに転送->webmail
です。

フィルタリングされたspamメールの中には
・英語のウイルス添付spam
・英語の広告spam
・日本語の広告spam

があります。
Reply to #13561

Reply to #15975×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: RE: bsfilterの運用 (2005-08-24 01:25 by nabeken #15989)

【フィルタリングされなかったspamメール】
./bsfilter spammail/200508231142140002
combined probability spammail/200508231142140002 1 1.000000

spam確率が1.0となっているので、フィルタされなかったのは変ですね。何を条件にフィルタされているのでしょうか?

・--insert-flag, --insert-probabilityでヘッダに埋め込まれた情報
・bsfilter終了時のexit code
のいずれかを見ているのではないかと、思いますが。
Reply to #15975

Reply to #15989×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: RE: bsfilterの運用 (2005-08-24 12:04 by yoshiwo #16001)

qmailを使用していますのでexit codeを見ていると思います。

【.qmail】
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
| /var/qmail/bin/condredirect hoge-spam bsfilter
./Maildir/
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ

condredirect は判定が0だとspam@hogehoge.co.jpに転送、0以外だと
したの行を実行なので、間違ってはいないと思うのですが
1点気になることがあります。

http://bsfilter.org で紹介されている、標準入力からの判定対象メールを入力する例をしても
$status には何も入っていません。

【spammail】
# ./bsfilter spammail/200508241053210001
# combined probability spammail/200508241053210001 1 1.000000
# ./bsfilter < spammail/200508241053210001 ; echo $status
# 何も結果が返らない

【cleanmail】
# ./bsfilter Maildir/new/1124852097.16270.dcml01
# combined probability Maildir/new/1124852097.16270.dcml01 1 0.000000
# ./bsfilter < Maildir/new/1124852097.16270.dcml01 ; echo $status
# 何も結果が返らない

実際にフィルタリングされているメールもあるという事から
なんだかよくわからなくなってしまってます(?_?)
設置設定方法が悪いかもしれないので、以下に記します。

【bsfilter 設置方法】
はじめ /var/qmail/bin の中に入れたのですが、ユーザが受信したメールを
bsfilterに読む権限がなく、メールが届かないと言う症状が出たので
現在はユーザディレクトリに置いて、bsfilterはユーザ権限で動作させています。

/mailroot/hoge/hage/yoshiwo/以下に
bsfilter
.bsfilter

.bsfilter以下に
bsfilter.confを設置、spam-cutoff 1行のみ表示
###################
spam-cutoff 0.90
###################

すみませんが、よろしくお願いします。
Reply to #15989

Reply to #16001×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE: RE: bsfilterの運用 (2005-08-24 23:10 by nabeken #16012)

csh系でなくsh系を使っている場合は、exit codeは、$statusでなく$?で見れると思います。
Reply to #16001

Reply to #16012×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE:RE: bsfilterの運用（補足） (2005-08-23 12:19 by yoshiwo #15976)

学習スクリプト

HomeDir="/mailroot/hoge/hage/yoshiwo"

echo "spam mail setup start"

cd $HomeDir
wget http://www.hogehoge.co.jp/test/spammail.zip
unzip -o spammail.zip
$HomeDir/bsfilter -s $HomeDir/spammail/*
#$HomeDir/bsfilter -C $HomeDir/spammail/*
$HomeDir/bsfilter -u
rm -Rf $HomeDir/spammail
rm $HomeDir/spammail.zip

echo "spam mail setup end"

で、学習させているのですがこれに問題ありでしょうか？
Reply to #13561

Reply to #15976×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE:RE: bsfilterの運用（補足） (2005-08-24 01:30 by nabeken #15991)

clean側の学習が別途されているのであれば、spamの学習はこれで問題ないと思います。

データベースの概要は以下のように確認できます。
~% bsfilter --show-db-status
db C 30103 1613 139516 8966 155800
db ja 51947 9877 36265 1572 78248

言語ごとに一行で表示されており、数字は左から
clean token数、clean mail数、spam token数 spam amil数、全token数
になります。
Reply to #15976

Reply to #15991×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE:RE: bsfilterの運用（補足） (2005-08-24 11:31 by yoshiwo #16000)

Cleanの学習は誤フィルタした際にメールを取り出し
手動で学習させています。

早い段階で、cleanmailの誤フィルタはなくなりました。

確立が1になっている以上別の原因なのでしょう。
一応↓

./bsfilter --show-db-status
db C 6330 29 40570 2586 46204
db ja 11492 211 26114 2932 33867
Reply to #15991

Reply to #16000×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

RE:RE: bsfilterの運用（補足） (2005-09-17 13:10 by yoshiwo #16462)

解決しました！！

アホでした。
~/hogehoge/bsfilter を実行しているので
すっかりユーザのDBに追加している気になっていたのですが
ホームディレクトリ設定をしていなかった為
hogehoge自身の時は正しく適用
ルートの時はルートのDBに適用と言う事でした。

正しいターゲットユーザにすることにより解決しました。
どうもお騒がせして申し訳ございませんでした。
Reply to #16000

Reply to #16462×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login