[groonga-dev,01723] Re: 仮想メモリサイズを超えるmroongaのインデックス構築について

Back to archive index

Naoya Murakami visio****@gmail*****
2013年 8月 29日 (木) 12:56:58 JST


お世話になっております。村上です。

迅速なご対応ありがとうございます。
パッチをあてて試してみようと思います。

>ただ、これで直るとしたら↑の変更点の直後のGRN_
>MALLOC()でメモ リーを確保できなくてエラーになっているということです。
>という ことは、ここのオフラインインデックス構築処理のアルゴリズムを
>見なおして、省メモリで動くようにしないと根本的な解決にならな
>いですね。。。

>ただ、それはすぐには無理なので、もっと多くのスワップを用意す
>るかデータの入れ方を変えるかしないといけなそうです。

>もっと多くのスワップがどのくらいかはわからないのですが、倍と
>かそんな感じになるんじゃないかと思います。というのも、ちまち
>まメモリを確保してあるところもあれば、数倍分まとめて確保して
>使っているところもある(こっちの方が速度が速くなる)
>からです。

パッチ+さらなるスワップ追加が必要ということでしょうか?
それとも、今回の落ち方であればパッチだけでも解消できる
可能性がありますか?

次のアクションとして、(1)パッチだけ試した方がいいのか、
(2)パッチ+さらなるスワップを追加して試した方がいいのか、
を知りたいです。1アクションに時間がかかるので。。

前に追加スワップ230Gぐらいまでは試したのですが、さらにあげないとだめですかね。
ここ2〜3回はメモリ32G、スワップ8G、追加スワップ100Gで試していました。

このサーバだとたぶん250G以上スワップに容量をさけないので、
これ以上スワップが必要となるとちょっと対応方法を考えないといけません。

NFSのHDD上にスワップファイルを作るかぐらいしかありませんかね。。
見かけ上のスワップ領域をでかくして、NFSのスワップファイルの優先度を
低くしておけばあまり遅くならずにいけるかなぁ。。

別に2TのSSDのサーバもありますので、最悪、こちらのデータを一時退避させれば、
スワップ1Tぐらいにして試すことは可能といえば可能です。
が、移動が大変ですし、SSDのスワップ1Tはもったいなすぎるので、あまり
やりたくない感じです。

以上、よろしくお願いします。



groonga-dev メーリングリストの案内
Back to archive index