kazuto fukuda
kf966****@gmail*****
2010年 5月 28日 (金) 21:54:49 JST
菅谷様 福田です。 > robots.txt で除外するルールが記述されているか すいません。この部分見落としてました。 月曜日に調べてみます。 よろしくお願いします。 2010年5月28日18:16 Shinsuke Sugaya <shins****@yahoo*****>: > 菅谷です。 > > 情報をありがとうございます。 > ログを見ると、3 ドキュメントでインデックスを > 作られていると思われます。他にもクロール対象と > なるドキュメントがあるとすると、robots.txt で > 除外するルールが記述されているか、"No credentials > available for DIGEST" と言われているので、 > DIGEST 認証でブロックされているかな気がします。 > よろしくお願いします。 > > shinsuke > > 2010年5月28日16:26 kazuto fukuda <kf966****@gmail*****>: >> 菅谷様 >> >> 回答有難うございます。 >> >>> まず、システム設定のSolrの設定でSolrグループが >>> 有効になっていますでしょうか？あとは、 >> 有効になっています。 >> >>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>> はクロール時にどのような出力になっているでしょうか？ >> >> 2010-05-28 09:59:05,453 [main] INFO >> org.seasar.struts.validator.S2ValidatorPlugIn - Loading validation >> rules file from '/WEB-INF/validator-rules.xml' >> 2010-05-28 09:59:06,281 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-frameworkのバージョンは2.4.39です。 >> 2010-05-28 09:59:06,281 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-extensionのバージョンは2.4.39です。 >> 2010-05-28 09:59:06,281 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-tigerのバージョンは2.4.39です。 >> 2010-05-28 09:59:10,046 [main] INFO >> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >> components! >> 2010-05-28 09:59:10,062 [main] INFO >> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >> sqlLogRegistry. >> 2010-05-28 09:59:10,093 [main] INFO >> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >> of DBFlute! >> 2010-05-28 09:59:18,031 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >> 2010-05-28 10:00:02,421 [Thread-16] INFO >> jp.sf.fess.helper.SystemHelper - Crawler: >> Directory=C:\fess\fess-server-3.0.0\webapps\fess >> Options=[java, -cp, >> WEB-INF\cmd\resources;WEB-INF\classes;WEB-INF\lib\antlr-2.7.2.jar;WEB-INF\lib\aopalliance-1.0.jar;WEB-INF\lib\args4j-2.0.12.jar;WEB-INF\lib\asm-3.1.jar;WEB-INF\lib\bcmail-jdk16-1.44.jar;WEB-INF\lib\bcprov-jdk16-1.44.jar;WEB-INF\lib\commons-beanutils-1.7.0.jar;WEB-INF\lib\commons-codec-1.3.jar;WEB-INF\lib\commons-collections-3.2.jar;WEB-INF\lib\commons-compress-1.0.jar;WEB-INF\lib\commons-digester-1.6.jar;WEB-INF\lib\commons-el-1.0.jar;WEB-INF\lib\commons-fileupload-1.2.1.jar;WEB-INF\lib\commons-httpclient-3.1.jar;WEB-INF\lib\commons-io-1.4.jar;WEB-INF\lib\commons-lang-2.3.jar;WEB-INF\lib\commons-logging-1.0.3.jar;WEB-INF\lib\commons-validator-1.2.0.jar;WEB-INF\lib\dbflute-runtime-0.9.5.1.jar;WEB-INF\lib\dom4j-1.6.1.jar;WEB-INF\lib\fontbox-1.0-20091008.jar;WEB-INF\lib\geronimo-annotation_1.0_spec-1.0.jar;WEB-INF\lib\geronimo-ejb_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-interceptor_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jpa_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jta_1.1_spec-1.0.jar;WEB-INF\lib\geronimo-stax-api_1.0_spec-1.0.1.jar;WEB-INF\lib\h2-1.2.128.jar;WEB-INF\lib\icu4j-3.8.jar;WEB-INF\lib\javassist-3.4.ga.jar;WEB-INF\lib\jcl-over-slf4j-1.5.6.jar;WEB-INF\lib\jempbox-0.8.0-20091008.jar;WEB-INF\lib\jstl-1.1.2.jar;WEB-INF\lib\log4j-1.2.14.jar;WEB-INF\lib\lucene-analyzers-2.9.1.jar;WEB-INF\lib\lucene-core-2.9.1.jar;WEB-INF\lib\lucene-highlighter-2.9.1.jar;WEB-INF\lib\lucene-memory-2.9.1.jar;WEB-INF\lib\lucene-misc-2.9.1.jar;WEB-INF\lib\lucene-queries-2.9.1.jar;WEB-INF\lib\lucene-snowball-2.9.1.jar;WEB-INF\lib\lucene-spellchecker-2.9.1.jar;WEB-INF\lib\mobylet-charset-1.0.2.jar;WEB-INF\lib\mobylet-core-1.0.2.jar;WEB-INF\lib\mobylet-s2extension-1.0.2.jar;WEB-INF\lib\mobylet-taglibs-1.0.2.jar;WEB-INF\lib\nekohtml-1.9.13.jar;WEB-INF\lib\ognl-2.6.9-patch-20070908.jar;WEB-INF\lib\ooxml-schemas-1.0.jar;WEB-INF\lib\org.codehaus.woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\oro-2.0.8.jar;WEB-INF\lib\pdfbox-0.8.0-20091008.jar;WEB-INF\lib\poi-3.5-FINAL.jar;WEB-INF\lib\poi-ooxml-3.5-FINAL.jar;WEB-INF\lib\poi-scratchpad-3.5-FINAL.jar;WEB-INF\lib\s2-extension-2.4.39.jar;WEB-INF\lib\s2-framework-2.4.39.jar;WEB-INF\lib\s2-robot-0.4.0.jar;WEB-INF\lib\s2-robot-db-0.4.0.jar;WEB-INF\lib\s2-robot-db-h2-0.4.0.jar;WEB-INF\lib\s2-robot-dbflute-runtime-0.9.6.jar;WEB-INF\lib\s2-tiger-2.4.39.jar;WEB-INF\lib\s2chronos-core-1.0.0.jar;WEB-INF\lib\s2chronos-extension-1.0.0.jar;WEB-INF\lib\sa-struts-1.0.4-sp7.jar;WEB-INF\lib\serializer-2.7.1.jar;WEB-INF\lib\slf4j-api-1.5.6.jar;WEB-INF\lib\slf4j-log4j12-1.5.6.jar;WEB-INF\lib\solr-commons-csv-1.4.0.jar;WEB-INF\lib\solr-core-1.4.0.jar;WEB-INF\lib\solr-solrj-1.4.0.jar;WEB-INF\lib\standard-1.1.2.jar;WEB-INF\lib\stax-api-1.0.1.jar;WEB-INF\lib\struts-1.2.9.jar;WEB-INF\lib\tika-core-0.5-20091008.jar;WEB-INF\lib\tika-parsers-0.5-20091008.jar;WEB-INF\lib\woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\xalan-2.7.1.jar;WEB-INF\lib\xercesImpl-2.8.1.jar;WEB-INF\lib\xmlbeans-2.3.0.jar;WEB-INF\cmd\lib\geronimo-servlet_2.4_spec-1.0.jar, >> -Dfess.crawler.process=true, >> -Dsolr.solr.home=C:\fess\fess-server-3.0.0\solr, >> -Dsolr.data.dir=C:\fess\fess-server-3.0.0\solr\core1\data, >> -Dfess.log.file=C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\logs\fess.out, >> -Djava.awt.headless=true, -server, -XX:+UseGCOverheadLimit, >> -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+UseTLAB, >> -Dpdfbox.cjk.support=true, -Xmx512m, -XX:MaxPermSize=128m, >> jp.sf.fess.exec.Crawler, --sessionId, 20100528100002] >> 2010-05-28 10:00:05,000 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-frameworkのバージョンは2.4.39です。 >> 2010-05-28 10:00:05,000 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-extensionのバージョンは2.4.39です。 >> 2010-05-28 10:00:05,000 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> s2-tigerのバージョンは2.4.39です。 >> 2010-05-28 10:00:08,640 [main] INFO >> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >> components! >> 2010-05-28 10:00:08,640 [main] INFO >> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >> sqlLogRegistry. >> 2010-05-28 10:00:08,671 [main] INFO >> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >> of DBFlute! >> 2010-05-28 10:00:08,765 [main] INFO >> org.seasar.robot.db.allcommon.DBFluteInitializer - ...Initializing >> DBFlute components! >> 2010-05-28 10:00:08,812 [main] INFO >> org.seasar.robot.db.allcommon.DBFluteConfig - ...Locking the >> configuration of DBFlute! >> 2010-05-28 10:00:13,109 [main] INFO >> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >> 2010-05-28 10:00:13,812 [main] INFO jp.sf.fess.exec.Crawler - >> Starting Crawler.. >> 2010-05-28 10:00:14,796 [Robot-20100528100002-1-3] INFO >> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >> http://10.nnn.nn.nnn/ >> 2010-05-28 10:00:14,921 [Robot-20100528100002-1-3] INFO >> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >> http://10.nnn.nn.nnn/robots.txt >> 2010-05-28 10:00:19,359 [Robot-20100528100002-2-4] INFO >> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >> http://10.nnn.nn.nnn/ >> 2010-05-28 10:00:19,406 [Robot-20100528100002-2-4] INFO >> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >> http://10.nnn.nn.nnn/robots.txt >> 2010-05-28 10:00:24,468 [Robot-20100528100002-3-4] INFO >> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >> http://150.nn.nn.nnn/oks.htm >> 2010-05-28 10:00:24,500 [Robot-20100528100002-3-4] INFO >> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >> http://150.nn.nn.nnn/robots.txt >> 2010-05-28 10:00:24,625 [Robot-20100528100002-3-4] INFO >> org.apache.commons.httpclient.HttpMethodDirector - No credentials >> available for DIGEST 'Digest'@150.16.97.150:80 >> 2010-05-28 10:01:14,375 [IndexUpdater] INFO >> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 3. >> The processing size is 3. The execution time is 16ms. >> 2010-05-28 10:01:14,406 [IndexUpdater] INFO >> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >> The processing size is 0. The execution time is 0ms. >> 2010-05-28 10:02:14,359 [IndexUpdater] INFO >> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >> The processing size is 0. The execution time is 0ms. >> 2010-05-28 10:02:19,703 [main] INFO jp.sf.fess.helper.WebIndexHelper >> - [EXEC TIME] crawling time: 125641ms >> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >> The processing size is 0. The execution time is 0ms. >> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >> jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index update time: 47ms >> 2010-05-28 10:03:14,531 [main] INFO >> jp.sf.fess.helper.FileSystemIndexHelper - No crawling target urls. >> 2010-05-28 10:03:14,562 [main] INFO jp.sf.fess.helper.DataIndexHelper >> - No crawling target data. >> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - [EXEC >> TIME] index optimize time: 188ms >> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - Finished Crawler >> 2010-05-28 10:03:17,812 [Thread-16] INFO >> jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=0 - Crawler >> Process Output: >> Processed: C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\db\robot.h2.db >> WARN: The method class >> org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. >> WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. >> >> 以上です。よろしくお願いします。 >> >> 2010年5月28日15:21 Shinsuke Sugaya <shins****@yahoo*****>: >>> 菅谷です。 >>> >>> まず、システム設定のSolrの設定でSolrグループが >>> 有効になっていますでしょうか？あとは、 >>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>> はクロール時にどのような出力になっているでしょうか？ >>> よろしくお願いいたします。 >>> >>> shinsuke >>> >>> >>> 2010年5月28日11:12 kazuto fukuda <kf966****@gmail*****>: >>>> はじめまして、福田と申します。 >>>> >>>> Fessの導入テスト中です。 >>>> イントラネットのサイトが対象なのですが、インデックスが作成されません。 >>>> >>>> ウェブクロールの設定で >>>> URL >>>> http://10.nnn.nn.nnn/ >>>> クロール対象とするURL >>>> http://10.nnn.nn.nnn/.* >>>> >>>> としております。 >>>> 昨日は一度この設定で、一度はインデックスが作成されたのですが、 >>>> 今日、システム設定のSolrアクションで削除してから、クローラープロセスを >>>> 実行したところ、何も作成されませんでした。 >>>> ログファイルも見ましたが、特にエラーは出ていないようです。 >>>> 何が問題なのでしょうか？ >>>> >>>> 以上です。よろしくお願いします。 >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >