[groonga-dev, 04654] [tokenizer][mecab] mecab_sparse_tostr() failed len=601521 err=too long sentence.

Back to archive index

内山敏郎 toshio_uchiy****@mirro*****
2018年 8月 5日 (日) 12:54:42 JST


ML の皆様

 

 お世話になります。内山と申します。

 

 今週のデータアップデートですが、pgroonga 2.0.9 に

アップグレードしてデータを登録しました。ところが、

content カラム text[] で長文です。ですが、このカラムに

インデックスを作ろうとすると

 

[tokenizer][mecab] mecab_sparse_tostr() failed len=601521

err=too long sentence.

 

となりエラーしているようです。現在、bigram でインデックスを

作ってみています。インデックスサイズが大きくなるので

Mecab のインデックスにしたいです。

 上述のエラーは、text[] の中の配列の要素のどれかが長いので

その文章を短くして対応した方が良いでしょうか。

 Mecab の制限をなくすことはできないでしょうか。

 ご指導のほどよろしくお願いします。

-------------- next part --------------
HTMLの添付ファイルを保管しました...
URL: https://lists.osdn.me/mailman/archives/groonga-dev/attachments/20180805/0ee83786/attachment.htm 



groonga-dev メーリングリストの案内
Back to archive index