kousa****@nttda*****
kousa****@nttda*****
2007年 11月 26日 (月) 13:48:25 JST
幸坂です。こんにちは。 メモリ不足のようですね。 > VSZ 1457004 プロセスが確保しているメモリは1,457,004[Kbyte] > LOG: pgsenna2: |A| mmap(361496576,40,0)=(null) <5705665> そして、Sennaが内部処理の際に、 一時的に使用するメモリが、361,496,576[byte] これで1,853,468,672[byte]になります。 今回は、メモリ使用量取得のタイミングで2Gbyteを下回っていますが、 エラーの瞬間は2Gbyteになっていると思われます。 > なお、shared_buffers = 512MB でもやってみたのですが、 PostgreSQLが多くメモリを消費するため、 80万件より少ない40万件でエラーとなります。 過去の田中さんのメールを見ると、 > 10万件くらいになると10GBは超える可能性があるので とあります。 80万件の場合、EUC-JPのテキストで80Gbyte程度でしょうか？ > まだ何か可能性がある方法がありましたら、ご意見をお願いします。 パーティション化、64bitマシンなどの方法が良いと思われます。 パーティション化すると、投入時間の短縮というメリットもあります。 > -----Original Message----- > From: ludia****@lists***** > [mailto:ludia****@lists*****] On Behalf > Of Shunsuke Tanaka > Sent: Monday, November 26, 2007 11:37 AM > To: ludia****@lists***** > Subject: [Ludia-users 138] Re: 形態素インデックスで投入に1秒以上かかります > > 田中です。 > > 投入の試験に時間がかかってしまい、 > 久しぶりの投稿になってしました。すみません。 > > Linuxカーネルを新しいものにした結果、 > 形態素インデックスで80万件投入したところで、 > 以下のエラーが出て投入できなくなるようになりました。 > > LOG: pgsenna2: |A| mmap(361496576,40,0)=(null) <5705665> > LOG: pgsenna2: |A| io_win_map(45053, 361262397) failed!! > ERROR: pgsenna2: sen_index_update failed 1,0 > > 投入できなくなったとき、一番メモリを使っていた > postgres: postgres ludiatestdb [local] INSERT > というプロセスのメモリ使用量は以下の通りでした。 > VSZ 1457004 > RSS 681952 > > postgresql.confの設定は以下の通りです。 > shared_buffers = 24MB > ludia.initial_n_segments = 2048 > > ソフトウェアのバージョンは以下の通りです。 > Ludia 1.3.1 > Senna 1.0.9 > mecab 0.96 > mecab-ipadic 2.7.0 20070801 > PostgreSQL 8.2.4 > Fedora Core 2 (32bit版) > Linux Kernel 2.6.23.1 > > 使用したハードウェアは以下の通りです。 > Dell Precision 470 > CPU: Xeon 2.8GHz × 2 > Memory: 2Gbyte > HDD: SATA 400Gbyte 7200rpm > > > なお、shared_buffers = 512MB でもやってみたのですが、 > 40万件投入したところでOSがハングアップしました。 > > > 今までのメールを読んで、できることはしましたが、 > まだ何か可能性がある方法がありましたら、ご意見をお願いします。 > > _______________________________________________ > Ludia-users mailing list > Ludia****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/ludia-users >
