[Ludia-users 71] Re: CreateIndexでエラー

Back to archive index

Shingo Kawamura sh.ka****@gmail*****
2007年 8月 6日 (月) 16:15:00 JST


ご無沙汰しています。河村です。

「1プロセス内で2GB」なのか、「1インデックスで2GB」なのか
を特定しようと思い、以下の調査を行いました。

CSV_ODD
と
CSV_EVEN
二つのテーブルを用意して、各インデックスが1.5GB弱で、
合計が3GB以上になるようにデータ量を調節して、
1プロセス内で各テーブルへのInsertを交互に行ってみたのですが
正常に動作完了しました。
#/3GBスイッチははずしています

各テーブルのインデックスサイズは以下の通りです。
・CSV_ODD
サイズ:260,880 KB
---
.SEN                12,416 KB
.SEN.i               84,160 KB
.SEN.i.c             524,096 KB
.SEN.i.c.001       523,264 KB
.SEN.i.c.002       492,544 KB
.SEN.i.c.003       145,408 KB
.SEN.l               8,320 KB
---
・CSV_EVEN
サイズ:260,880 KB
---
.SEN                12,416 KB
.SEN.i               84,160 KB
.SEN.i.c             524,096 KB
.SEN.i.c.001       522,496 KB
.SEN.i.c.002       513,792 KB
.SEN.i.c.003       144,896 KB
.SEN.l               8,320 KB
---

このテストでもエラーが起きるかな、と思ったのですが、
正常終了してしまいました。^^;

最悪、このような方法で動作できそうなら、
件数でテーブルを振り分けて、全テーブルをUNIONして使う、
という方法もありかなと思っています。


----- Original Message ----- 
From: <morit****@razil*****>
To: <ludia****@lists*****>
Sent: Thursday, July 12, 2007 2:11 PM
Subject: [Ludia-users 70] Re:CreateIndexでエラー


> 森です。お世話になっています。。
>
>> パッチを当てて再度実行してみました。
>> ---
>> 07/11:06:49:10.021|A| MapViewOfFile failed #8 <400293888>
>> 07/11:06:49:10.071|A| io_win_map(8183, 287121676) failed!!
>
> ありがとうございます。
>
> ひょっとするとSennaロジックのレベルでちゃんとメモリを解放していないのではないかと
> 考えたのですが、お蔭様でその疑いは晴れました。
>
> どうやらUnmapViewOfFile, CloseHandleという手順を踏んでも
> 意図したように論理空間が解放できていないように見受けられます。
>
> 一点、気にかかっているのは、WIN32_FMO_EACHの場合は、
> CreateFileMappingでoffset + length分のmappingを作成している点です。
> mmapと違ってファイルの途中から一部分だけmappingすることができないので、
> このような手段を取っているのですが、そうすると論理空間を、
> length分ではなく、offset + length分消費してしまうのかも知れません。
>
> また、WIN32_FMO_EACHでない場合は、UnmapViewOfFileの際にCloseHandleを発行していないので、
> これも問題かも知れません
>
> 以上、すぐには着手できないのですが、私達の方でも検証してみたいと思います。
>
> --
> mori
>
> _______________________________________________
> Ludia-users mailing list
> Ludia****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/ludia-users 




Ludia-users メーリングリストの案内
Back to archive index