内山敏郎
toshio_uchiy****@mirro*****
2017年 12月 2日 (土) 06:32:06 JST
須藤さま 内山です。 >text[]の方がtextより遅いやつは、まず、PostgreSQLのデータを >Groongaにコピーしているところで遅かったです。textだと >Zstandardを使った圧縮が効くから速いのかもしれないんですが、 >どうしてtextの方が速いかは未確認です。これから確認します。 この件ですが、データ投入プログラムにバグがあり、ごみの 入ったデータにインデックスをつけていました。データ量が 何倍になっているかははっきりとはわかっていませんが、 かなり多いと考えています。 測定環境が会社にありますので、休み明けに出勤したら 再測定します。 お騒がせして申し訳ありません。 -----Original Message----- From: groon****@lists***** [mailto:groon****@lists*****] On Behalf Of Kouhei Sutou Sent: Tuesday, November 28, 2017 9:12 AM To: groon****@lists***** Subject: [groonga-dev,04548] Re: JSONB や 配列フィールドについての pgroonga インデックス作成時間および、jsonb のフェッチについて 須藤です。 In <20171****@clear*****> "[groonga-dev,04542] Re: JSONB や 配列フィールドについての pgroonga イン デックス作成時間および、jsonb のフェッチについて" on Sun, 26 Nov 2017 14:20: 46 +0900 (JST), Kouhei Sutou <kou****@clear*****> wrote: >> となると、データの提供ということかと思いますが、お役に立つなら >> データ提供させていただきます。データは 19GB です。この前と同じで >> psql-d databasename -h hostname -U username -f filename.sql すれば >> こちらと同じテーブルが、subtitled という名前で生成されるファイルです。 >> 複数カラムのテーブルです。もしよろしかったら、別メールで >> ダウンロード URL をお知らせしたいのですがよろしいでしょうか。 > > はい、それでお願いします。 > そういえば、以前のやつ、まだできていませんでした。。。 > 今年中にはがんばります。。。 データ提供ありがとうございました。 再現しました。 接続が切れるやつはGroongaの問題だったので修正しました。今月 末のリリースに入ります。 text[]の方がtextより遅いやつは、まず、PostgreSQLのデータを Groongaにコピーしているところで遅かったです。textだと Zstandardを使った圧縮が効くから速いのかもしれないんですが、 どうしてtextの方が速いかは未確認です。これから確認します。 それはそうとして、text[]でもZstandardで圧縮できた方がいいと 思うので、それはちょいちょい進めていこうかと思いました。 -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> Groongaベースの全文検索システムを総合サポート： http://groonga.org/ja/support/ パッチ採用 - プログラミングが楽しい人向けの採用プロセス： http://www.clear-code.com/recruitment/ OSS開発支援サービス: http://www.clear-code.com/blog/2016/6/27.html _______________________________________________ groonga-dev mailing list groon****@lists***** https://lists.osdn.me/mailman/listinfo/groonga-dev
