kazuto fukuda
kf966****@gmail*****
2010年 5月 31日 (月) 11:39:37 JST
菅谷様 お世話になります。福田です。 クロール対象としたいページでリンク先をselect boxで選ぶようになっている 物があります。 <select name="select" size="1" onchange="location=this.options[this.selectedIndex].value; "> <option selected>機種を選択して下さい</option> <option value="http://10.224.32.250/seihinA.htm">seihinA</option> <option value="http://10.224.32.250/seihinB.htm">seihinB</option> <option value="http://10.224.32.250/seihinC.htm">seihinC</option> このリンク先も検索対象にする事は出来るでしょうか？ 以上です。よろしくお願いします。 2010年5月31日11:22 kazuto fukuda <kf966****@gmail*****>: > 菅谷様 > > お世話になります。福田です。 > 調べましたところ、以下の事がわかりました。 > URLに指定したフォルダには、検索の始点となるいわばリンク集になる > ようなページがあるのですが、拡張子がhtmlではなくhtmで、 > どんなファイルか見てみると、MicrosoftWordで作成されたWebページ > でした。 > これはクロールの対象にはならないですよね。 > 検索ルールのファイル「s2robot_rule.dicon？」を変更すれば対象には > 出来そうな感じですが、単純なテキストファイルではないので、リンク先 > を取得するのは難しいでしょうか？ > > 以上です。よろしくお願いします。 > > 2010年5月28日21:54 kazuto fukuda <kf966****@gmail*****>: >> 菅谷様 >> >> 福田です。 >> >>> robots.txt で除外するルールが記述されているか >> >> すいません。この部分見落としてました。 >> 月曜日に調べてみます。 >> >> よろしくお願いします。 >> >> 2010年5月28日18:16 Shinsuke Sugaya <shins****@yahoo*****>: >>> 菅谷です。 >>> >>> 情報をありがとうございます。 >>> ログを見ると、3 ドキュメントでインデックスを >>> 作られていると思われます。他にもクロール対象と >>> なるドキュメントがあるとすると、robots.txt で >>> 除外するルールが記述されているか、"No credentials >>> available for DIGEST" と言われているので、 >>> DIGEST 認証でブロックされているかな気がします。 >>> よろしくお願いします。 >>> >>> shinsuke >>> >>> 2010年5月28日16:26 kazuto fukuda <kf966****@gmail*****>: >>>> 菅谷様 >>>> >>>> 回答有難うございます。 >>>> >>>>> まず、システム設定のSolrの設定でSolrグループが >>>>> 有効になっていますでしょうか？あとは、 >>>> 有効になっています。 >>>> >>>>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>>>> はクロール時にどのような出力になっているでしょうか？ >>>> >>>> 2010-05-28 09:59:05,453 [main] INFO >>>> org.seasar.struts.validator.S2ValidatorPlugIn - Loading validation >>>> rules file from '/WEB-INF/validator-rules.xml' >>>> 2010-05-28 09:59:06,281 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-frameworkのバージョンは2.4.39です。 >>>> 2010-05-28 09:59:06,281 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-extensionのバージョンは2.4.39です。 >>>> 2010-05-28 09:59:06,281 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-tigerのバージョンは2.4.39です。 >>>> 2010-05-28 09:59:10,046 [main] INFO >>>> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >>>> components! >>>> 2010-05-28 09:59:10,062 [main] INFO >>>> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >>>> sqlLogRegistry. >>>> 2010-05-28 09:59:10,093 [main] INFO >>>> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >>>> of DBFlute! >>>> 2010-05-28 09:59:18,031 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >>>> 2010-05-28 10:00:02,421 [Thread-16] INFO >>>> jp.sf.fess.helper.SystemHelper - Crawler: >>>> Directory=C:\fess\fess-server-3.0.0\webapps\fess >>>> Options=[java, -cp, >>>> WEB-INF\cmd\resources;WEB-INF\classes;WEB-INF\lib\antlr-2.7.2.jar;WEB-INF\lib\aopalliance-1.0.jar;WEB-INF\lib\args4j-2.0.12.jar;WEB-INF\lib\asm-3.1.jar;WEB-INF\lib\bcmail-jdk16-1.44.jar;WEB-INF\lib\bcprov-jdk16-1.44.jar;WEB-INF\lib\commons-beanutils-1.7.0.jar;WEB-INF\lib\commons-codec-1.3.jar;WEB-INF\lib\commons-collections-3.2.jar;WEB-INF\lib\commons-compress-1.0.jar;WEB-INF\lib\commons-digester-1.6.jar;WEB-INF\lib\commons-el-1.0.jar;WEB-INF\lib\commons-fileupload-1.2.1.jar;WEB-INF\lib\commons-httpclient-3.1.jar;WEB-INF\lib\commons-io-1.4.jar;WEB-INF\lib\commons-lang-2.3.jar;WEB-INF\lib\commons-logging-1.0.3.jar;WEB-INF\lib\commons-validator-1.2.0.jar;WEB-INF\lib\dbflute-runtime-0.9.5.1.jar;WEB-INF\lib\dom4j-1.6.1.jar;WEB-INF\lib\fontbox-1.0-20091008.jar;WEB-INF\lib\geronimo-annotation_1.0_spec-1.0.jar;WEB-INF\lib\geronimo-ejb_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-interceptor_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jpa_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jta_1.1_spec-1.0.jar;WEB-INF\lib\geronimo-stax-api_1.0_spec-1.0.1.jar;WEB-INF\lib\h2-1.2.128.jar;WEB-INF\lib\icu4j-3.8.jar;WEB-INF\lib\javassist-3.4.ga.jar;WEB-INF\lib\jcl-over-slf4j-1.5.6.jar;WEB-INF\lib\jempbox-0.8.0-20091008.jar;WEB-INF\lib\jstl-1.1.2.jar;WEB-INF\lib\log4j-1.2.14.jar;WEB-INF\lib\lucene-analyzers-2.9.1.jar;WEB-INF\lib\lucene-core-2.9.1.jar;WEB-INF\lib\lucene-highlighter-2.9.1.jar;WEB-INF\lib\lucene-memory-2.9.1.jar;WEB-INF\lib\lucene-misc-2.9.1.jar;WEB-INF\lib\lucene-queries-2.9.1.jar;WEB-INF\lib\lucene-snowball-2.9.1.jar;WEB-INF\lib\lucene-spellchecker-2.9.1.jar;WEB-INF\lib\mobylet-charset-1.0.2.jar;WEB-INF\lib\mobylet-core-1.0.2.jar;WEB-INF\lib\mobylet-s2extension-1.0.2.jar;WEB-INF\lib\mobylet-taglibs-1.0.2.jar;WEB-INF\lib\nekohtml-1.9.13.jar;WEB-INF\lib\ognl-2.6.9-patch-20070908.jar;WEB-INF\lib\ooxml-schemas-1.0.jar;WEB-INF\lib\org.codehaus.woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\oro-2.0.8.jar;WEB-INF\lib\pdfbox-0.8.0-20091008.jar;WEB-INF\lib\poi-3.5-FINAL.jar;WEB-INF\lib\poi-ooxml-3.5-FINAL.jar;WEB-INF\lib\poi-scratchpad-3.5-FINAL.jar;WEB-INF\lib\s2-extension-2.4.39.jar;WEB-INF\lib\s2-framework-2.4.39.jar;WEB-INF\lib\s2-robot-0.4.0.jar;WEB-INF\lib\s2-robot-db-0.4.0.jar;WEB-INF\lib\s2-robot-db-h2-0.4.0.jar;WEB-INF\lib\s2-robot-dbflute-runtime-0.9.6.jar;WEB-INF\lib\s2-tiger-2.4.39.jar;WEB-INF\lib\s2chronos-core-1.0.0.jar;WEB-INF\lib\s2chronos-extension-1.0.0.jar;WEB-INF\lib\sa-struts-1.0.4-sp7.jar;WEB-INF\lib\serializer-2.7.1.jar;WEB-INF\lib\slf4j-api-1.5.6.jar;WEB-INF\lib\slf4j-log4j12-1.5.6.jar;WEB-INF\lib\solr-commons-csv-1.4.0.jar;WEB-INF\lib\solr-core-1.4.0.jar;WEB-INF\lib\solr-solrj-1.4.0.jar;WEB-INF\lib\standard-1.1.2.jar;WEB-INF\lib\stax-api-1.0.1.jar;WEB-INF\lib\struts-1.2.9.jar;WEB-INF\lib\tika-core-0.5-20091008.jar;WEB-INF\lib\tika-parsers-0.5-20091008.jar;WEB-INF\lib\woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\xalan-2.7.1.jar;WEB-INF\lib\xercesImpl-2.8.1.jar;WEB-INF\lib\xmlbeans-2.3.0.jar;WEB-INF\cmd\lib\geronimo-servlet_2.4_spec-1.0.jar, >>>> -Dfess.crawler.process=true, >>>> -Dsolr.solr.home=C:\fess\fess-server-3.0.0\solr, >>>> -Dsolr.data.dir=C:\fess\fess-server-3.0.0\solr\core1\data, >>>> -Dfess.log.file=C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\logs\fess.out, >>>> -Djava.awt.headless=true, -server, -XX:+UseGCOverheadLimit, >>>> -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+UseTLAB, >>>> -Dpdfbox.cjk.support=true, -Xmx512m, -XX:MaxPermSize=128m, >>>> jp.sf.fess.exec.Crawler, --sessionId, 20100528100002] >>>> 2010-05-28 10:00:05,000 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-frameworkのバージョンは2.4.39です。 >>>> 2010-05-28 10:00:05,000 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-extensionのバージョンは2.4.39です。 >>>> 2010-05-28 10:00:05,000 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> s2-tigerのバージョンは2.4.39です。 >>>> 2010-05-28 10:00:08,640 [main] INFO >>>> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >>>> components! >>>> 2010-05-28 10:00:08,640 [main] INFO >>>> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >>>> sqlLogRegistry. >>>> 2010-05-28 10:00:08,671 [main] INFO >>>> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >>>> of DBFlute! >>>> 2010-05-28 10:00:08,765 [main] INFO >>>> org.seasar.robot.db.allcommon.DBFluteInitializer - ...Initializing >>>> DBFlute components! >>>> 2010-05-28 10:00:08,812 [main] INFO >>>> org.seasar.robot.db.allcommon.DBFluteConfig - ...Locking the >>>> configuration of DBFlute! >>>> 2010-05-28 10:00:13,109 [main] INFO >>>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>>> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >>>> 2010-05-28 10:00:13,812 [main] INFO jp.sf.fess.exec.Crawler - >>>> Starting Crawler.. >>>> 2010-05-28 10:00:14,796 [Robot-20100528100002-1-3] INFO >>>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>>> http://10.nnn.nn.nnn/ >>>> 2010-05-28 10:00:14,921 [Robot-20100528100002-1-3] INFO >>>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>>> http://10.nnn.nn.nnn/robots.txt >>>> 2010-05-28 10:00:19,359 [Robot-20100528100002-2-4] INFO >>>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>>> http://10.nnn.nn.nnn/ >>>> 2010-05-28 10:00:19,406 [Robot-20100528100002-2-4] INFO >>>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>>> http://10.nnn.nn.nnn/robots.txt >>>> 2010-05-28 10:00:24,468 [Robot-20100528100002-3-4] INFO >>>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>>> http://150.nn.nn.nnn/oks.htm >>>> 2010-05-28 10:00:24,500 [Robot-20100528100002-3-4] INFO >>>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>>> http://150.nn.nn.nnn/robots.txt >>>> 2010-05-28 10:00:24,625 [Robot-20100528100002-3-4] INFO >>>> org.apache.commons.httpclient.HttpMethodDirector - No credentials >>>> available for DIGEST 'Digest'@150.16.97.150:80 >>>> 2010-05-28 10:01:14,375 [IndexUpdater] INFO >>>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 3. >>>> The processing size is 3. The execution time is 16ms. >>>> 2010-05-28 10:01:14,406 [IndexUpdater] INFO >>>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>>> The processing size is 0. The execution time is 0ms. >>>> 2010-05-28 10:02:14,359 [IndexUpdater] INFO >>>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>>> The processing size is 0. The execution time is 0ms. >>>> 2010-05-28 10:02:19,703 [main] INFO jp.sf.fess.helper.WebIndexHelper >>>> - [EXEC TIME] crawling time: 125641ms >>>> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >>>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>>> The processing size is 0. The execution time is 0ms. >>>> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >>>> jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index update time: 47ms >>>> 2010-05-28 10:03:14,531 [main] INFO >>>> jp.sf.fess.helper.FileSystemIndexHelper - No crawling target urls. >>>> 2010-05-28 10:03:14,562 [main] INFO jp.sf.fess.helper.DataIndexHelper >>>> - No crawling target data. >>>> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - [EXEC >>>> TIME] index optimize time: 188ms >>>> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - Finished Crawler >>>> 2010-05-28 10:03:17,812 [Thread-16] INFO >>>> jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=0 - Crawler >>>> Process Output: >>>> Processed: C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\db\robot.h2.db >>>> WARN: The method class >>>> org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. >>>> WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. >>>> >>>> 以上です。よろしくお願いします。 >>>> >>>> 2010年5月28日15:21 Shinsuke Sugaya <shins****@yahoo*****>: >>>>> 菅谷です。 >>>>> >>>>> まず、システム設定のSolrの設定でSolrグループが >>>>> 有効になっていますでしょうか？あとは、 >>>>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>>>> はクロール時にどのような出力になっているでしょうか？ >>>>> よろしくお願いいたします。 >>>>> >>>>> shinsuke >>>>> >>>>> >>>>> 2010年5月28日11:12 kazuto fukuda <kf966****@gmail*****>: >>>>>> はじめまして、福田と申します。 >>>>>> >>>>>> Fessの導入テスト中です。 >>>>>> イントラネットのサイトが対象なのですが、インデックスが作成されません。 >>>>>> >>>>>> ウェブクロールの設定で >>>>>> URL >>>>>> http://10.nnn.nn.nnn/ >>>>>> クロール対象とするURL >>>>>> http://10.nnn.nn.nnn/.* >>>>>> >>>>>> としております。 >>>>>> 昨日は一度この設定で、一度はインデックスが作成されたのですが、 >>>>>> 今日、システム設定のSolrアクションで削除してから、クローラープロセスを >>>>>> 実行したところ、何も作成されませんでした。 >>>>>> ログファイルも見ましたが、特にエラーは出ていないようです。 >>>>>> 何が問題なのでしょうか？ >>>>>> >>>>>> 以上です。よろしくお願いします。 >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >