Kouhei Sutou
kou****@clear*****
2017年 12月 3日 (日) 15:38:16 JST
須藤です。 In <022101d36aeb$d62d2ce0$828786a0$@mirror.ocn.ne.jp> "[groonga-dev,04552] Re: JSONB や 配列フィールドについての pgroonga インデックス作成時間および、jsonb のフェッチについて" on Sat, 2 Dec 2017 06:32:06 +0900, 内山敏郎 <toshio_uchiy****@mirro*****> wrote: >>text[]の方がtextより遅いやつは、まず、PostgreSQLのデータを >>Groongaにコピーしているところで遅かったです。textだと >>Zstandardを使った圧縮が効くから速いのかもしれないんですが、 >>どうしてtextの方が速いかは未確認です。これから確認します。 > > この件ですが、データ投入プログラムにバグがあり、ごみの > 入ったデータにインデックスをつけていました。データ量が > 何倍になっているかははっきりとはわかっていませんが、 > かなり多いと考えています。 > 測定環境が会社にありますので、休み明けに出勤したら > 再測定します。 あ、そうなんですね。 私の手元で確認した感じだと圧縮は関係なくて、PostgreSQLから Groongaにデータをコピーしているところで遅そうでした。そう判 断した理由ですが、Groongaレベルでデータをコピーしたら数分で 終わったからです。PostgreSQLからGroongaへのコピーは確かに10 時間ちょいかかりました。 PGrnBuildCallbackRawでMemoryContextSwitchToしているのが遅く なっている原因なのかなぁ。でも、これをやめるとメモリー使用量 がもりもり増えるんだよなぁ。 -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> Groongaベースの全文検索システムを総合サポート： http://groonga.org/ja/support/ パッチ採用 - プログラミングが楽しい人向けの採用プロセス： http://www.clear-code.com/recruitment/ OSS開発支援サービス: http://www.clear-code.com/blog/2016/6/27.html
