須藤です。 In <CALHF****@mail*****> "[groonga-dev,04940] Re: pgroonga インデックス作成時の [ii][update][one] buffer is full エラー" on Mon, 4 Apr 2022 14:13:07 +0900, takashi sugaya <tsuga****@gmail*****> wrote: > １．データベースに登録する際、インデックスを作成する対象のカラムに対して、 > 追加するテキストのサイズは約400MBあるのですが、このサイズのテキストの索引を > 作成することは無理があるのでしょうか？ いえ、400MBはGroongaが扱える最大データ量に比べてかなり小さい のでサイズが問題とは思えません。 > ２．「そもそも動いていない」というのは、ログレベルをDEBUGにした場合に、 > ログの内容から分かりますでしょうか？ 「nterms=XXX chunk=XXX total=XXX」というようなログがでていな ければ動いていません。 > ３．「動いているけど十分な場所を確保できていない」とは、メモリ上に > 確保できていないという事でしょうか？(メモリが足りていないのでしょうか？) メモリーが足りないというわけではありません。 メモリー上に確保した領域をうまく活用できていないだけです。 > ４．本事象はインデックスが全く作成されていない状態では、発生しませんでした。 > インデックスが増えることによって、索引を作成する際に影響する内容などはございますでしょうか？ このエラーはインデックス作成・更新時に発生するのでインデック スがない場合は発生します。 PGroongaのインデックスはそれぞれ独立しているので他のインデッ クスの有無や数が影響しているということはありません。 > ５．CREATE INDEXを行う際に「WITH (tokenizer='TokenBigramSplitSymbolAlphaDigit')」と、 > トークナイザーを指定しておりますが、こちらも何か影響がございますでしょうか？ おそらく、この件はデータに依存して発生している事象なのですが、 トークナイザーによってインデックスの処理方法が変わるので影響 がある可能性はあります。ただ、私はどんなデータかわからないの で確実に影響があるかどうかまではわかりません。 > 環境のメモリサイズとしては以下となります。 > Mem: 31Gi > Swap: 9Gi このくらいあれば余裕で扱えるデータ量です。 そのためメモリー不足が原因とは思えません。
