Dice
tetra****@gmail*****
2013年 9月 2日 (月) 00:10:55 JST
Diceです。 あの後確認したところ、Windows上のGroongaだと、32ビット版/64ビット版の両方で再現させることができました。 また、rroonga経由で使った場合でも、同様の現象が再現しました。 原因はよくわからないのですが、Windows版固有の現象のようです。 （OSの種類に依存するのかもしれませんが、そこまでの確認はとれておりません） 私自身は特にいますぐ困っているというわけではないのですが milkode (groongaを使ったソースコード検索ツール) などでこの現象が起こると、DBがあっという間に3〜4GBに到達してしまうため そうしたソフトウェアをWindowsで使いたい場合には問題になりそうです。 後ほど、Redmineにチケットを登録させていただこうと思います。 それでは、失礼します。 -- Dice tetra****@gmail***** 2013年8月31日 0:17 Dice <tetra****@gmail*****>: > 須藤さん > > Diceです。 > ご丁寧にお返事いただき、ありがとうございます！ > >> >> るりまサーチというRubyのリファレンスマニュアルを全文検索する >> 小さなWebアプリケーションがあるんですが、 >> >> サイト: http://rurema.clear-code.com/ >> ソース: https://github.com/clear-code/rurema-search/ >> >> それだと、そんなに使っていません。テーブルが20個くらいあるの >> ですが、データも入れて全部で320MBくらいです。 > > このお返事をいただいて、あれ？と思って調べてみたのですが > もしかするとWindows固有の現象、もしくは64ビットOS固有の現象だったりするのでしょうか？ > （現在、私は開発目的のために、Windows上でgroongaを使用しています） > > 試しに以下のコマンドで、Windows 8 (64bit) とLinux (CentOS 5 32bit) でDBを作成してみたところ > ファイルサイズに大きな開きが出ました。 > > % groonga -n testdb.db table_create --name TestDoc > →Windowsの場合4ファイルで約385MB、Linuxの場合4ファイルで約9MB > > もう少し確認してみようと思います。 > > > -- > Dice > tetra****@gmail***** > > > 2013年8月30日 11:18 Kouhei Sutou <kou****@clear*****>: >> 須藤です。 >> >> In <CABVx7Sr-6T5TdbvWs=BqC=qqt-4****@mail*****> >> "[groonga-dev,01728] 質問：groongaが使うディスク容量を削減する方法" on Thu, 29 Aug 2013 23:45:46 +0900, >> Dice <tetra****@gmail*****> wrote: >> >>> 最近Groongaのことを知り、rronnga経由で使用しています。 >>> 全文検索機能もさることながら、独自のストレージ、スニペット検索、mysql統合など >>> たいへん興味深く調べております。 >> >> ありがとうございます！ >> >>> さて、1つ質問なのですが >>> groongaが使用するディスク容量を削減する（データベースのサイズを小さくする）方法が >>> ありましたら、教えていただけないでしょうか？ >> >> すみません、ありません。。。 >> >>> というのも、現在私は、小規模なWebアプリ（WikiEngine）に >>> GroongaをメインのDBとして使えないかと考えています。 >>> そうすると、機能的には十分強力なのですが、問題になるのが使用されるディスク容量です。 >>> 私がDBのサイズを確認した限りだと、Groongaでは >>> >>> テーブル1つごとに：約130MB >>> テーブルのカラムを1つ増やすごとに：約130MB >>> >>> 程度の容量を使っているように見えます。 >> >> うーん、それは大きすぎますねぇ。。。 >> >> るりまサーチというRubyのリファレンスマニュアルを全文検索する >> 小さなWebアプリケーションがあるんですが、 >> >> サイト: http://rurema.clear-code.com/ >> ソース: https://github.com/clear-code/rurema-search/ >> >> それだと、そんなに使っていません。テーブルが20個くらいあるの >> ですが、データも入れて全部で320MBくらいです。 >> >> % du -hsc groonga-database/* >> 4.0K groonga-database/bitclust.db >> 104K groonga-database/bitclust.db.0000000 >> 36K groonga-database/bitclust.db.001 >> 36K groonga-database/bitclust.db.000010A >> 32K groonga-database/bitclust.db.000010B >> 8.0K groonga-database/bitclust.db.000010C >> 32K groonga-database/bitclust.db.000010D >> 48K groonga-database/bitclust.db.000010E >> 8.0K groonga-database/bitclust.db.000010F >> 8.6M groonga-database/bitclust.db.000011A >> 37M groonga-database/bitclust.db.000011B >> 6.6M groonga-database/bitclust.db.000011C >> 15M groonga-database/bitclust.db.000011D >> 32M groonga-database/bitclust.db.000011E >> 224K groonga-database/bitclust.db.000011F >> 440K groonga-database/bitclust.db.000012A >> 700K groonga-database/bitclust.db.000012B >> 80K groonga-database/bitclust.db.000012C >> 708K groonga-database/bitclust.db.000012D >> 33M groonga-database/bitclust.db.000012E >> 9.2M groonga-database/bitclust.db.000012E.c >> 16M groonga-database/bitclust.db.000012F >> 1.9M groonga-database/bitclust.db.000012F.c >> 3.1M groonga-database/bitclust.db.000013A >> 4.0K groonga-database/bitclust.db.000013A.c >> 2.1M groonga-database/bitclust.db.000013B >> 4.0K groonga-database/bitclust.db.000013B.c >> 2.1M groonga-database/bitclust.db.000013C >> 4.0K groonga-database/bitclust.db.000013C.c >> 1.6M groonga-database/bitclust.db.000013D >> 4.0K groonga-database/bitclust.db.000013D.c >> 1.6M groonga-database/bitclust.db.000013E >> 4.0K groonga-database/bitclust.db.000013E.c >> 2.1M groonga-database/bitclust.db.000013F >> 4.0K groonga-database/bitclust.db.000013F.c >> 768K groonga-database/bitclust.db.0000100 >> 348K groonga-database/bitclust.db.0000101 >> 100K groonga-database/bitclust.db.0000102 >> 32K groonga-database/bitclust.db.0000103 >> 64K groonga-database/bitclust.db.0000104 >> 60K groonga-database/bitclust.db.0000105 >> 8.0K groonga-database/bitclust.db.0000106 >> 60K groonga-database/bitclust.db.0000107 >> 36K groonga-database/bitclust.db.0000108 >> 8.0K groonga-database/bitclust.db.0000109 >> 12K groonga-database/bitclust.db.0000110 >> 12K groonga-database/bitclust.db.0000111 >> 12K groonga-database/bitclust.db.0000112 >> 12K groonga-database/bitclust.db.0000113 >> 12K groonga-database/bitclust.db.0000114 >> 7.5M groonga-database/bitclust.db.0000115 >> 224K groonga-database/bitclust.db.0000116 >> 224K groonga-database/bitclust.db.0000117 >> 7.4M groonga-database/bitclust.db.0000118 >> 3.9M groonga-database/bitclust.db.0000119 >> 224K groonga-database/bitclust.db.0000120 >> 224K groonga-database/bitclust.db.0000121 >> 220K groonga-database/bitclust.db.0000122 >> 224K groonga-database/bitclust.db.0000123 >> 112K groonga-database/bitclust.db.0000124 >> 224K groonga-database/bitclust.db.0000125 >> 224K groonga-database/bitclust.db.0000126 >> 224K groonga-database/bitclust.db.0000127 >> 224K groonga-database/bitclust.db.0000128 >> 5.9M groonga-database/bitclust.db.0000129 >> 32M groonga-database/bitclust.db.0000130 >> 8.6M groonga-database/bitclust.db.0000130.c >> 64K groonga-database/bitclust.db.0000131 >> 14M groonga-database/bitclust.db.0000132 >> 1.3M groonga-database/bitclust.db.0000132.c >> 13M groonga-database/bitclust.db.0000133 >> 876K groonga-database/bitclust.db.0000133.c >> 22M groonga-database/bitclust.db.0000134 >> 2.5M groonga-database/bitclust.db.0000134.c >> 13M groonga-database/bitclust.db.0000135 >> 1.3M groonga-database/bitclust.db.0000135.c >> 8.1M groonga-database/bitclust.db.0000136 >> 72K groonga-database/bitclust.db.0000136.c >> 3.8M groonga-database/bitclust.db.0000137 >> 72K groonga-database/bitclust.db.0000137.c >> 1.6M groonga-database/bitclust.db.0000138 >> 4.0K groonga-database/bitclust.db.0000138.c >> 3.1M groonga-database/bitclust.db.0000139 >> 4.0K groonga-database/bitclust.db.0000139.c >> 320M 合計 >> >>> そこで、もし設定などを変更することで、この「確保する容量」を減らすことができるのであれば >>> その方法をぜひ教えていただけないでしょうか。 >>> 可能であれば、テーブル単位、列単位で設定できればより嬉しいです。 >> >> すみません、ないのです。。。 >> >> 次世代のgroongaのコア機能をgrnxx（「ぐるんたす」と読む）とし >> て開発しているのですが、そっちはファイルの作り方が変わるので >> 傾向が変わるかもしれません。サイズがどうなるかは、私はまだ知 >> りません。。。11/29にわかるかも。。。？ >> >> https://github.com/groonga/grnxx/tree/master/lib/grnxx >> >> >> -- >> 須藤 功平 <kou****@clear*****> >> 株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270) >> >> groongaサポート: >> http://groonga.org/ja/support/ >> パッチ採用はじめました: >> http://www.clear-code.com/recruitment/ >> コミットへのコメントサービスはじめました: >> http://www.clear-code.com/services/commit-comment.html >> >> _______________________________________________ >> groonga-dev mailing list >> groon****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/groonga-dev
