Kouhei Sutou
kou****@clear*****
2017年 5月 1日 (月) 09:24:34 JST
須藤です。 In <66672****@web10*****> "[groonga-dev,04357] Re: pgroongaのログ出力内容について" on Fri, 28 Apr 2017 19:42:15 +0900 (JST), tak_kaz24****@yahoo***** wrote: > ＞■事象1：system call error: Permission denied: failed to remove pathが発生する > >>このときに何をしていたかわかりますか？ > > 上記事象はPostgreSQLにCOPYコマンドで大量データ（数万〜数10万ドキュメント）を登録している時に発生します。 > REINDEXはしておらず、ログからautovacuumは実行されておらず、ウィルスチェックソフトも入れていない環境です。 そうですか。。。データを登録しているだけでファイルを削除する 処理ってあったかしら。。。 これが発生したときのpgroonga.logそのものを提供してもらえると なにかヒントがありそうな気がするんですよねぇ。 > 毎回発生するわけではないので環境や構成を変えて経過を観察してみます。 再現できたら再現方法を提供してもらえると助かります。 再現できることが大事なので、実データでなくてまったく問題あり ません。テスト用のダミーデータで十分です。 >>■事象2：too many postingsが発生する > >>これはウォーニングレベルのログなので、pgroonga.log_levelを >>errorとかにすると出力されなくなります。 > > 書き方が悪かったです。ログに出力しない方法ではなくこの事象が可能な限り発生しないようにする方法があるか知りたいのです。 > 巨大なドキュメントファイルで上記事象が発生したファイルの後半部分が検索にヒットしない可能性を懸念しています。 > 各ドキュメントから抽出した文字情報をタブ区切りのファイルに出力し、 > COPYコマンドのSTDINオプションで一定の件数ごと（1,000件）に読み込ませて登録していましたが、 > 100件→10件→1件のように減らしてもログ出力数が減りはしたものの1/10や1/100にはなりませんでした。 > > こちらでも検証は実施しますが他に有効な対処方法がありましたら連携ください。 これの再現方法を提供してもらうことってできますか？ これも実データでなくても構いません。 > またもしこの事象が発生したレコード等を特定する手法がありましたら連携ください。 > ※<Lexicon72052_0.index>のような情報が出力されますがこれで特定可能でしょうか？ ログになにか出していたような気がするので、（ログの一部ではな く）生ログを見せてもらえるとコレと言えそうな気がします。 -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> Groongaベースの全文検索システムを総合サポート： http://groonga.org/ja/support/ パッチ採用 - プログラミングが楽しい人向けの採用プロセス： http://www.clear-code.com/recruitment/ OSS開発支援サービス: http://www.clear-code.com/blog/2016/6/27.html
