bsfilter

Ruby 1.8が6月末でEoLになってからもうすく3ヶ月となります。
また最新のrc版である1.0.18.ruby1.9.rc5に対するバグ修正も既にいくつか存在します。
以上の点を鑑みて、Ruby 1.9以降をサポートしたbsfilter 1.0.18正式版のリリースを考慮して頂けないでしょうか。

よろしくお願いいたします。

中身のコードは revisin 1.86.2.4 のままですが、
1.0.18.ruby1.9.rc1
としてアーカイブしました。

http://sourceforge.jp/projects/bsfilter/releases/

素早い対応をありがとうございます。1.0.18.ruby1.9.rc2で#66937の問題が発生しなくなったことを確認しました。

で、修正して頂いたばかりで申し訳ないのですが、次の問題が見つかってしまいました。
--pipeオプションを指定してstdoutに出力させると、Kernel.pに要素がStringであるようなArrayを引数として渡したときのような結果が出力されます。
rc1でも英語のメールを食わせると同じ結果となります。

bsfilter以外の環境は#66937でかいたのと同じです。度々で申し訳ありませんが、よろしくご対応願います。

> いつ頃からか判らないのですが、1.0.18.ruby1.9.rc5に
>
> (1) 文字コードがASCII以外である
> (2) 内容がSpam判定されるものである
>
> という条件を満たすメールを食わせると、以下のようなエラーが発生するよう
> になりました。
>
> kazusa@host01[14]% cat ~/.bsfilter/bsfilter.conf
> jtokenizer MeCab
> db gdbm
> kazusa@host01[15]% bsfilter spam.jpn.01.txt
> /usr/local/bin/bsfilter:937:in `=~': invalid byte sequence in UTF-8 (ArgumentError)
> from /usr/local/bin/bsfilter:937:in `block in get_lang'
> from /usr/local/bin/bsfilter:929:in `each'
> from /usr/local/bin/bsfilter:929:in `get_lang'
> from /usr/local/bin/bsfilter:908:in `get_lang_from_buf'
> from /usr/local/bin/bsfilter:1464:in `tokenize_body'
> from /usr/local/bin/bsfilter:1265:in `tokenize_buf'
> from /usr/local/bin/bsfilter:3410:in `block (2 levels) in run'
> from /usr/local/bin/bsfilter:330:in `open_ro'
> from /usr/local/bin/bsfilter:3406:in `block in run'
> from /usr/local/bin/bsfilter:3405:in `each'
> from /usr/local/bin/bsfilter:3405:in `run'
> from /usr/local/bin/bsfilter:3451:in `<main>'
> kazusau@host01[16]%
>
> 環境は以下の通りです。
>
> FreeBSD 9.1-RELEASE (amd64)
> Ruby 1.9.3-p429
> GDBM 1.10
> mecab 0.996
> mecab-ruby 0.996
> mecab-ipadic 2.7.0-20070801
>
> 度々で申し訳ありませんが、よろしくご対応願います。
>
最近、bsfilter-1.0.18.ruby1.9.rc5 + ruby-1.9.3/FreeBSD 9-STABLEを運用し始めて、同様の問題に遭遇しローカルパッチを当てている者でが、
get_langで使っているString.encode('UTF-8', 'UTF-8')でStringの持つinvelid byte sequenceの内部フラグをクリアする
rubyのバグに依存したハックが rubyのアップデートで無効に成ったのではないかと推察します
# encode(x, x)で invalid byte sequenceの内部フラグが「誤ってクリア」されるのは、古いrubyの既知のバグの模様です

なので、手元の環境では次の2つの対策をとっています
1. strを dupで複製し、複製した strに force_encodingを適用後、正規表現と照合前に valid_encoding?で確認する
2. get_langを呼び出している get_lang_from_bufにて Encoding::InvalidByteSequenceErrorと Encoding::UndefinedConversionErrorを rescueする

また、mecabの動作を調べた範囲では、mecabが返す nodeの surfaceと featureに入っている Stringの encodingは
Encoding::default_externalなのですが、バイト列自体は mecabの辞書のコーディングに依存しているようで、
FreeBSDのports/japanese/mecab-ipdicなどでは、標準のEUC-JP以外に SHIFT-JISや UTF-8な場合があり
mecab()内部で token/hinshi処理中にエラーになるケースがあります
(例えば、FreeBSDの場合、japanese/p5-Mail-SpamAssassinなどは、UTF-8な MeCab辞書を要求する)
これについては、手元の環境では
1. MeCab初期化時に、US-ASCIIなStringを字句解析し、node.next.surfaceのバイト列から辞書のエンコーディングを検知する
2. MeCabに渡す前に bsfilterの内部エンコーディング(EUC-JP)から MeCab辞書のエンコーディングへ変換する
(EUC-JP的に不正なバイト列が渡ってくることもあるので、:invalid -> :replace, :undef => :replace, :replace => ' 'をつけてます)
3. MeCabから戻ってきた文字列は、MeCab辞書のエンコーディングから EUC-JPへ変換する

後は、bsfilter-1.0.17との挙動の違いに関する雑多な修正として、mecab()内で token.length > 2という条件を token.bytesize > 2へ置換してます
(ruby 1.8だとlengthは byte数を返しますが、ruby 1.9以降はエンコーディング依存(ここでは、EUC-JP)な文字数を返します)

上記、3種の修正を行う泥臭いパッチは以下の通り
--- bsfilter/bsfilter.orig 2013-03-10 03:02:38.000000000 +0900
+++ bsfilter/bsfilter 2013-07-05 23:44:28.833162221 +0900
@@ -905,7 +905,11 @@
end

def get_lang_from_buf(buf, html_flag)
- return get_lang(buf, html_flag)
+ begin
+ return get_lang(buf, html_flag)
+ rescue Encoding::InvalidByteSequenceError, Encoding::UndefinedConversionError
+ return [nil, nil]
+ end
end

def get_lang(buf, html_flag=false)
@@ -930,20 +934,22 @@
if (html_flag)
str = decode_character_reference2u(str)
end
+ # Duplicate str for force_encoding
+ str = str.dup
if (str.force_encoding('ASCII-8BIT') =~ reg_gb18030_possible)
gb18030_possible = true
end

- if (str.encode('UTF-8', 'UTF-8') =~ reg_utf8)
+ if (str.force_encoding('UTF-8').valid_encoding? && str =~ reg_utf8)
@options["message-fh"].printf("lang ja utf8\n") if (@options["debug"])
return ["ja", "utf8"]
elsif (str.force_encoding('ASCII-8BIT') =~ reg_jis)
@options["message-fh"].printf("lang ja jis\n") if (@options["debug"])
return ["ja", "jis"]
- elsif (str.encode('SHIFT_JIS', 'SHIFT_JIS') =~ reg_sjis)
+ elsif (str.force_encoding('SHIFT_JIS').valid_encoding? && str =~ reg_sjis)
@options["message-fh"].printf("lang ja sjis\n") if (@options["debug"])
return ["ja", "sjis"]
- elsif (str.encode('EUC-JP', 'EUC-JP') =~ reg_euc)
+ elsif (str.force_encoding('EUC-JP').valid_encoding? && str =~ reg_euc)
if (gb18030_possible)
@options["message-fh"].printf("lang ja gb18030\n") if (@options["debug"])
return ["ja", "gb18030"]
@@ -1041,10 +1047,28 @@
@method = Proc::new {|s| block(s)}
when "mecab"
@method = Proc::new {|s| mecab(s)}
+ meishi_euc = "\xcc\xbe\xbb\xec".force_encoding('ASCII-8BIT')
+ meishi_sjis = meishi_euc.encode('SHIFT_JIS', 'EUC-JP').force_encoding('ASCII-8BIT')
+ meishi_utf8 = meishi_euc.encode('UTF-8', 'EUC-JP').force_encoding('ASCII-8BIT')
+
if (defined?(MeCab::VERSION)) # defined after 0.90
@m = MeCab::Tagger.new("-Ochasen")
+ node = @m.parseToNode('this is a pen')
+ hinshi = node.next.feature.force_encoding('ASCII-8BIT').split(/,/)[0]
else
@m = MeCab::Tagger.new([$0, "-Ochasen"])
+ node = @m.parseToNode('this is a pen')
+ hinshi = node.next.getFeature.force_encoding('ASCII-8BIT').split(/,/)[0]
+ end
+ case hinshi
+ when meishi_euc
+ @m_dic_enc = Encoding::EUC_JP
+ when meishi_sjis
+ @m_dic_enc = Encoding::SHIFT_JIS
+ when meishi_utf8
+ @m_dic_enc = Encoding::UTF_8
+ else
+ @m_dic_enc = Encoding::default_external
end
when "chasen"
Chasen.getopt("-F", '%H %m\n', "-j")
@@ -1089,8 +1113,9 @@
end

def mecab(str)
+ str = str.encode(@m_dic_enc, :invalid => :replace, :undef => :replace, :replace => ' ')
str = str.gsub(/[\x00-\x7f]/, ' ')
- if (str =~ /\A +\z/)
+ if (str.length == 0 || str =~ /\A +\z/)
return []
end
array = Array::new
@@ -1098,21 +1123,34 @@
while (node &&
(defined?(MeCab::VERSION) || (node.hasNode == 1)))
if defined?(MeCab::VERSION)
- token = node.surface.force_encoding('EUC-JP')
- hinshi = node.feature.force_encoding('EUC-JP').split(/,/)[0]
+ token = node.surface.encode('EUC-JP', @m_dic_enc)
+ hinshi = node.feature.encode('EUC-JP', @m_dic_enc).split(/,/)[0]
else
- token = node.getSurface
- hinshi = node.getFeature.split(/,/)[0]
+ token = node.getSurface.encode('EUC-JP', @m_dic_enc)
+ hinshi = node.getFeature.encode('EUC-JP', @m_dic_enc).split(/,/)[0]
end
- if (hinshi == "\xcc\xbe\xbb\xec".force_encoding('EUC-JP'))
- if ((token.force_encoding('EUC-JP') =~ Reg_kanji_katakana) || (token.length > 2))
+ unless (token.valid_encoding?)
+ # Scrub token
+ token = token.each_char.map { |c| (c.valid_encoding?) ? c : "" }.join
+ end
+ case hinshi
+
+ when "BOS/EOS"
+ # Skip BOS/EOS
+
+ when "\xb5\xad\xb9\xe6".force_encoding('EUC-JP')
+ # Skip KIGOU
+
+ when "\xcc\xbe\xbb\xec".force_encoding('EUC-JP')
+ # MEISHI
+ if ((token =~ Reg_kanji_katakana) || (token.bytesize > 2))
array.push(token)
end
+
else
- token.force_encoding('EUC-JP').gsub!(Reg_not_kanji_katakana, '')
- if ((token.force_encoding('EUC-JP') =~ Reg_kanji) || (token.length > 2))
+ token.gsub!(Reg_not_kanji_katakana, '')
+ if ((token =~ Reg_kanji) || (token.bytesize > 2))
array.push(token)
- else
end
end
node = node.next

1.86.2.10へマージさせていただきました。