OSDN -- Develop and Download Open Source Software

Forums: 【移行しました】サポート (Thread #35646)
Return to Thread list RSS

クロールのエラーに関して (2014-06-24 16:29 by hogefoobar #73597)

hogefoobarと申します。

ファイルシステムのクロールを行っていますが、クロールが完結せずに困っています。

logを見ると、
return container.getComponent("crawlJob").execute(executor);

Exit Code: 137
Output:
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.trace.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.lock.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.h2.db

とあります。

「ExitCode：137」の意味するところは何でしょうか？ご教示頂けますと助かります。

以上、よろしくお願いします。

Reply to #73597×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-24 18:10 by hogefoobar #73600)

ちなみにfess.outの当該logは以下のようになります。

2014-06-24 17:55:52,178 [Thread-68] INFO jp.sf.fess.job.CrawlJob - Crawler: Exit Code=137 - Crawler Process Output:
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.trace.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.lock.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.h2.db

2014-06-24 17:55:52,179 [Thread-68] WARN jp.sf.fess.job.CrawlJob - Could not delete a temp dir: /opt/fess/temp/fessTmpDir_20140624175435
2014-06-24 17:55:52,179 [Thread-68] ERROR jp.sf.fess.job.TriggeredJob - Failed to execute job1: return container.getComponent("crawlJob").execute(executor);
jp.sf.fess.FessSystemException: Exit Code: 137
Output:
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.trace.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.lock.db
Processed: /opt/fess/webapps/fess/WEB-INF/db/robot.h2.db

at jp.sf.fess.job.CrawlJob.executeCrawler(CrawlJob.java:323)
at jp.sf.fess.job.CrawlJob.execute(CrawlJob.java:196)
at jp.sf.fess.job.CrawlJob.execute(CrawlJob.java:107)
at jp.sf.fess.job.CrawlJob$execute.call(Unknown Source)
at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:45)
at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:108)
at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:116)
at Script1.run(Script1.groovy:1)
at groovy.lang.GroovyShell.evaluate(GroovyShell.java:518)
at groovy.lang.GroovyShell.evaluate(GroovyShell.java:556)
at groovy.lang.GroovyShell.evaluate(GroovyShell.java:527)
at jp.sf.fess.job.impl.GroovyExecutor.execute(GroovyExecutor.java:35)
at jp.sf.fess.job.TriggeredJob.execute(TriggeredJob.java:85)
at jp.sf.fess.db.exentity.ScheduledJob$1.run(ScheduledJob.java:58)
at java.lang.Thread.run(Thread.java:744)
Reply to #73597

Reply to #73600×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-24 22:38 by shinsuke #73604)

Exit Codeは一般的なプロセスの終了コードです。
137-128=9でSIGKILLなので何かしらの理由でクロールプロセスを
実行してSIGKILLが返ってきたのではないでしょうか？
PATHやJAVA_HOMEなどがおかしいとかもあるのかもしれません。
Reply to #73600

Reply to #73604×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-25 11:13 by hogefoobar #73610)

返信ありがとうございます。

ご指摘の件ですが、900ファイルぐらいはクロール出来ているので、PATHやJAVA_HOMEがおかしい線は薄いかな、と思っています。

今までの経験則的に見てみると、fess_crawler.outが
[IndexUpdater] INFO jp.sf.fess.solr.IndexUpdater - Sent 5 documents. The execution time is 1020ms.
[IndexUpdater] INFO jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 297. The processing size is 5. The execution time is 5ms.
[IndexUpdater] INFO jp.sf.fess.solr.IndexUpdater - Stopped all crawler threads. You have 297 (>100) unprocessed documents.
[IndexUpdater] INFO jp.sf.fess.solr.IndexUpdater - Sending 5 document to a server.
のようなメッセージが出てきて、処理が滞留しているようなメッセージが出てきて、5件ずつ減になって、最後、これが0件まで行ききいらず（このときは42件まで減って中断してました。）クロールがFAILする、という具合です。

パラメータの設定でどうにかならないか、色々工夫していますが、解消には至っていません。

Reply to #73604

Reply to #73610×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-25 13:12 by hogefoobar #73611)

すいません。上記書き込みは、あまりあてになりませんでした。

普通にファイルのクロールの途中でも中断しています。

ただ、何度もやっているのですが、相変わらず137で止まるのは相変わらずです。

対象は一定していません。（137で止まるファイルが判明すれば除外すればよいかとも思ったのですが…）
Reply to #73610

Reply to #73611×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-26 10:22 by hogefoobar #73622)

相変わらず状況は好転しておりません。137で止まります。

…しかし、クロール済みのドキュメント数は増えて行っています。
最初900件ぐらいだったのが、今は3600件ぐらいになってます。

このままクロールをし続ければ、完走できるのかしら？と思い始めています。
どれくらいFAILすれば、かは分かりませんが。
Reply to #73611

Reply to #73622×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-26 22:38 by shinsuke #73630)

以前にMLあたりで、この手の問題で報告されていた方がいたように思いますが、
そのときは物理メモリが足りなくなり、OSによりSIGKILLが発行されて
クロールのプロセスが終了していたかと思います。

デフォルトではFess自体(Tomcat部分)は1G以上のメモリを消費し、
クロールプロセスはそれとは別に512M以上のメモリを必要とします。
OSまで考えると、スワップ含めて2G程度の物理メモリは必要かと
思います(調整すれば使用量を減らすことはできますが)。
OSのログ等も確認していただくのが良いかと思います。
Best Answer Reply to #73622

Reply to #73630×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: クロールのエラーに関して (2014-06-27 16:06 by hogefoobar #73642)

返信ありがとうございました。

頂いた情報を元に、サーバのメモリを2G→4Gに増やし、再度クロールをしております。
…落ちません。

今まで、1時間もクロールすれば落ちていたのですが、5時間経過した今でも落ちません。
3千件しかなかったドキュメントが、今は2万件を超えて増え続けています。

ご指摘いただいた事がビンゴだったようです。

ありがとうございました。
Reply to #73630

Reply to #73642×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login