[groonga-dev,01606] Re: mroongaログのtoo many postingsの警告メッセージの影響について

Back to archive index

Kouhei Sutou kou****@clear*****
2013年 8月 12日 (月) 18:18:19 JST


須藤です。

In <CANM+HhdCEXp9v6FSBD=ueEct8K9wxA1jFcBk-Aybo8ySm3K_hg****@mail*****>
  "[groonga-dev,01597] mroongaログのtoo many postingsの警告メッセージの影響について" on Sun, 11 Aug 2013 14:18:57 +0900,
  Naoya Murakami <visio****@gmail*****> wrote:

> ログを見ていて気になったのですが、以下の警告は、何を意味しているのでしょうか?
> 
> too many postings(227573) on 21. discarded 96502.
> 
> 以下を見てもよくわかりませんでした。言葉通りにとらえると、あまりに多いポスト数なので、
> 実際のポストの数-インデックスの格納に成功したポストの数が捨てられた?

私もうまく説明できないのですが、postingというのはインデックス
に入っているデータのことで、各postingには1つのトークンに関連
した情報が含まれています。例えば、どの文書に含まれていたかと
か、その文書の中で何番目のトークンだったか、などです。

groongaのソースを見てみたところ、1つの文書あたり、最大で
0x1ffff個(= 131071個)のpostingを紐付けることができるみたい
です。エラーメッセージの中には実際のposting数が「227573」で、
捨てたのが「96502」とあるので、227573 - 96502 = 131071と合致
します。

> 実際の検索動作に影響があるか否かを教えてください。

あると思います。
文書の後半にあるトークンは捨てられているので、文書の後半にあ
る内容ではヒットしないのではないかと思います。

-- 
須藤 功平 <kou****@clear*****>
株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270)

groongaサポート:
  http://groonga.org/ja/support/
パッチ採用はじめました:
  http://www.clear-code.com/recruitment/
コミットへのコメントサービスはじめました:
  http://www.clear-code.com/services/commit-comment.html




groonga-dev メーリングリストの案内
Back to archive index