[groonga-dev,01684] grn_str_charlen_utf8のwarningメッセージの影響について

Back to archive index

Naoya Murakami visio****@gmail*****
2013年 8月 25日 (日) 01:18:07 JST


お世話になっております。村上です。

度々の投稿失礼します。お忙しい中、ご迷惑をおかけしてすいません。

groongaログに、grn_str_charlen_utf8のwarningメッセージが散見されました。

grn_str_charlen_utf8(): first byte is invalid
grn_str_charlen_utf8(): imcomplete character

https://github.com/groonga/groonga/blob/master/lib/str.c#L67

imcomplete characterについては、myisamのテーブルからmroongaのテーブルに
コピーする際にでることがあるようです。
insert ignore into mroonga select * from myisam;
first byte is invalidについては、インデックス構築中に稀に発生します。

grepでひっかかった限りでは、grn_str_charlen_utf8は、ノーマライザで使われている
ようですが、このwarningメッセージは、どのような影響がありますか?
ノーマライザだけなら、正規化処理ができない文字コードが渡されている
だけで、原則、検索に影響はないと考えてよろしいでしょうか?
正規化されないだけで、トークンが無視されるようなことはないでしょうか?

https://github.com/groonga/groonga/blob/master/lib/normalizer.c#L656

なお、現状は、エラーメッセージ、warningメッセージがでた場合、ソース見て
処理を理解するしか、内容、影響度合いを知る方法はありませんでしょうか?

また、too many postingsの例のように、warningレベルでも検索に影響があるケース
があるようなので、warningレベルは、検索に影響があるものも含まれると思って
おいたほうがよろしいでしょうか?

ちなみに、mroongaのドキュメントでは、このような説明がなされています。

  * E: emergency:データベースの破損などの緊急に対処が必要なログメッセージを出力する。
  * A: alert:内部的なエラーを示すログを出力する。
  * C: critical:デッドロックの発生など致命的なログメッセージを出力する。
  * e: error:mroongaが仕様しているAPIのエラーログメッセージを出力する。
  * w: warning:引数の誤りなどの警告ログメッセージを出力する。
  * n: notice:設定や状態の変化を示すログメッセージを出力する。
  * i: information:ファイル操作などの情報をログメッセージとして出力する。
  * d: debug:デバッグメッセージを出力する。

http://mroonga.org/ja/docs/reference/server_variables.html
http://groonga.org/ja/docs/reference/log.html

以上、よろしくお願いします。



groonga-dev メーリングリストの案内
Back to archive index