iwasa****@nttda*****
iwasa****@nttda*****
2007年 8月 17日 (金) 15:59:49 JST
岩崎です。 ちょっとWindwosで大きなデータベースを作ったので、 遅ればせながら2GB超のインデックスを試してみました。 予想に反して?インデックスが正常にできました。 環境は:: OS:WindowsXP Professinal(32bit) PostgreSQL:8.2.4 Senna:1.0.8 Ludia:1.2.0 で、作成したインデックスのサイズは:: 844292.SEN 71434240 844292.SEN.i 181338112 844292.SEN.i.c 1073676288 844292.SEN.i.c.001 1073741824 844292.SEN.i.c.002 767819776 844292.SEN.l 42074112 という感じです。 同じ単語が500万回くらい出現するようにしてみてます。 問題は http://support.microsoft.com/kb/830783/ja のあたりだったりするのでしょうか？ -- 岩崎 正剛 / IWASAKI Masatake mailto:iwasa****@nttda***** -----Original Message----- From: ludia****@lists***** [mailto:ludia****@lists*****] On Behalf Of Shingo Kawamura Sent: Tuesday, August 07, 2007 5:22 PM To: ludia****@lists***** Subject: [Ludia-users 73] Re:CreateIndexでエラー 河村です。 > Windows上でmmapに相当するAPIの調査を進めてきました。 > その結果、 > 論理空間を枯渇させないような実装の方向性が > ある程度分かってきました。 やはり、あの実装では問題がありそうですか…。 テストが足りないまま出してしまい申し訳ありませんでした。 > いまだ実験・実装等に着手できていないのですが、 > 将来的にはi.c.xxxファイルが肥大しても大丈夫となるように > 開発を続けております。 期待しています！ 私の方でも、もう少し見てみたいと思っています。 ----- Original Message ----- From: "Tasuku SUENAGA" <a****@razil*****> To: <ludia****@lists*****> Sent: Monday, August 06, 2007 9:20 PM Subject: [Ludia-users 72] Re: CreateIndexでエラー > 末永です。 > > Windows上でmmapに相当するAPIの調査を進めてきました。 > その結果、 > 論理空間を枯渇させないような実装の方向性が > ある程度分かってきました。 > > いまだ実験・実装等に着手できていないのですが、 > 将来的にはi.c.xxxファイルが肥大しても大丈夫となるように > 開発を続けております。 > > Shingo Kawamura さんは書きました: >> ご無沙汰しています。河村です。 >> >> 「1プロセス内で2GB」なのか、「1インデックスで2GB」なのか >> を特定しようと思い、以下の調査を行いました。 >> >> CSV_ODD >> と >> CSV_EVEN >> 二つのテーブルを用意して、各インデックスが1.5GB弱で、 >> 合計が3GB以上になるようにデータ量を調節して、 >> 1プロセス内で各テーブルへのInsertを交互に行ってみたのですが >> 正常に動作完了しました。 >> #/3GBスイッチははずしています >> >> 各テーブルのインデックスサイズは以下の通りです。 >> ・CSV_ODD >> サイズ：260,880 KB >> --- >> .SEN 12,416 KB >> .SEN.i 84,160 KB >> .SEN.i.c 524,096 KB >> .SEN.i.c.001 523,264 KB >> .SEN.i.c.002 492,544 KB >> .SEN.i.c.003 145,408 KB >> .SEN.l 8,320 KB >> --- >> ・CSV_EVEN >> サイズ：260,880 KB >> --- >> .SEN 12,416 KB >> .SEN.i 84,160 KB >> .SEN.i.c 524,096 KB >> .SEN.i.c.001 522,496 KB >> .SEN.i.c.002 513,792 KB >> .SEN.i.c.003 144,896 KB >> .SEN.l 8,320 KB >> --- >> >> このテストでもエラーが起きるかな、と思ったのですが、 >> 正常終了してしまいました。^^; >> >> 最悪、このような方法で動作できそうなら、 >> 件数でテーブルを振り分けて、全テーブルをUNIONして使う、 >> という方法もありかなと思っています。 >> >> >> ----- Original Message ----- >> From: <morit****@razil*****> >> To: <ludia****@lists*****> >> Sent: Thursday, July 12, 2007 2:11 PM >> Subject: [Ludia-users 70] Re:CreateIndexでエラー >> >> >>> 森です。お世話になっています。。 >>> >>>> パッチを当てて再度実行してみました。 >>>> --- >>>> 07/11:06:49:10.021|A| MapViewOfFile failed #8 <400293888> >>>> 07/11:06:49:10.071|A| io_win_map(8183, 287121676) failed!! >>> ありがとうございます。 >>> >>> ひょっとするとSennaロジックのレベルでちゃんとメモリを解放していないので はないかと >>> 考えたのですが、お蔭様でその疑いは晴れました。 >>> >>> どうやらUnmapViewOfFile, CloseHandleという手順を踏んでも >>> 意図したように論理空間が解放できていないように見受けられます。 >>> >>> 一点、気にかかっているのは、WIN32_FMO_EACHの場合は、 >>> CreateFileMappingでoffset + length分のmappingを作成している点です。 >>> mmapと違ってファイルの途中から一部分だけmappingすることができないので、 >>> このような手段を取っているのですが、そうすると論理空間を、 >>> length分ではなく、offset + length分消費してしまうのかも知れません。 >>> >>> また、WIN32_FMO_EACHでない場合は、UnmapViewOfFileの際にCloseHandleを発行 していないので、 >>> これも問題かも知れません >>> >>> 以上、すぐには着手できないのですが、私達の方でも検証してみたいと思いま す。 >>> >>> >>> -- >>> mori > --- > Tasuku SUENAGA <a****@razil*****> > > _______________________________________________ > Ludia-users mailing list > Ludia****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/ludia-users _______________________________________________ Ludia-users mailing list Ludia****@lists***** http://lists.sourceforge.jp/mailman/listinfo/ludia-users
