Masayuki Shibata
mshib****@shima*****
2011年 3月 15日 (火) 21:02:24 JST
柴田＠亀岡市です。
本件原因わかりました。
Fess 2.0.0 の頃から、変更した箇所を引き継いできておりましたので
<component name="systemHelper" class="jp.sf.fess.helper.SystemHelper">
<property name="authenticatedRoles">"role1"</property>
</component>
...の設定が fess.dicon に移ったのに気づかず、app.dicon 側に毎度
バージョンアップの度に転記しておりました。
それでも、ロールベース検索はちゃんと使えており、fess_crawler.out
というあまり関係なさそうなところにトラブルが出たので、全然思い至
りませんでした。
...と言うか、fess_crawler.out が分離されたことも認識していなかっ
たので、今の今まで気づかなかった次第です。
http://fess.sourceforge.jp/ja/4.0/config/role-setting.html
...を見ると確かにそう書いてあるのですが、Fess 2.0 の記述と並べて
みるまで、全然差に気づきませんでした。先入観とは恐ろしいもので...
お騒がせしてしまい、どうもスミマセンでした。
----- Original Message -----
From: "Masayuki Shibata" <mshib****@shima*****>
To: <fess-****@lists*****>
Sent: Tuesday, March 15, 2011 4:39 PM
Subject: [fess-user 436] Re:クロールの進捗を知る方法
> 柴田＠亀岡市です。
>
>> Windows XP などで確認する限り，fess_crawler.out は
>> 普通に作成されていましたが，Windows 2003 環境を
>> 構築する余裕がないため，その環境でどうかが確認できて
>> いません．クリーンな Fess でも startup.bat で起動して
>> クロールしても生成されない感じでしょうか？
>
> クリーン Fess の startup.bat 起動をやってみたところ、
> fess_crawler.out は作成されました。
>
> 当方、ターゲットは Windows 2003 Server ですが、適宜テストは
> localhost (Windows Xp) でやっており、サーバーと同じ条件で起動
> したときも fess_crawler.out は作成されませんでしたので、
> Windows 2003 は無関係で、クリーンな Fess と当方の状況に差があ
> るのだと思います。
>
>> これも考えると，クロール実行のプロセスに渡される
>> オプション(Optionsの値たち)がなぜかうまく渡されていない
>> ような気もします．
>
> クリーンな Fess (localhost D:\fess-server-4.0.0 から
> startup.bat で起動) の方では、Options のログの設定が...
>
> -Dfess.log.file=D:\fess-server-4.0.0\webapps\fess\WEB-INF\logs\fess_crawler.out
>
> ...でログに出力されていますが、ターゲットの Fess
> (C:\fess-server から Windows サービス起動) では、
>
> -Dfess.log.file=C:\fess-server\webapps\fess\WEB-INF\logs\fess.out
>
> ...とログに出されており、ご推察のとおりのような感じです。
>
> ...で結局、fess.out のログに fess_crawler.out のものも一緒に
> 出力されている状態です。
>
> 少しずつ設定を詰めていった累積で、どこか変わってしまっている
> のかも知れませんね。
>
> クリーンなものと差分をとって調べてみます。
>
>
> ----- Original Message -----
> From: "Shinsuke Sugaya" <shins****@yahoo*****>
> To: <fess-****@lists*****>
> Sent: Tuesday, March 15, 2011 2:14 PM
> Subject: [fess-user 435] Re:クロールの進捗を知る方法
>
>
>> 菅谷です．
>>
>> 情報をありがとうございます．
>>
>>> しかし残り 1000 前後となったところで上昇が止まり、最終的
>>> に完了するのが、さらにそこから１２時間ほど先になります。
>>
>> 何かのドキュメントで処理がつまっているような
>> 気もしますが，fess_crawler.out でどこで時間が
>> かかるのか見ないと原因特定は難しいです．
>>
>>> ・全体のうちのどこまで進んだかを知る方法はありますか？
>>
>> fess_crawler.out でクロールの状況を確認できます．
>>
>> Windows XP などで確認する限り，fess_crawler.out は
>> 普通に作成されていましたが，Windows 2003 環境を
>> 構築する余裕がないため，その環境でどうかが確認できて
>> いません．クリーンな Fess でも startup.bat で起動して
>> クロールしても生成されない感じでしょうか？
>>
>>> ・その場合、そのログを区別する目印は何でしょうか？
>>
>> 2011-03-11 11:28:56,914 [Thread-17] INFO
>> jp.sf.fess.helper.SystemHelper - Crawler:
>> Directory=...
>> Options=...-Dfess.log.file=...
>>
>> という感じで，fess.log.fileのファイルで指定されている
>> と思います．特にエラーのようなものは出ないと
>> 思います．
>>
>>> ログを見ると temp フォルダのファイルを消せなかったらしき
>>> ワーニングがあり、確かにファイルが大量に残っています。
>>
>> Fess 4 では(行儀の悪い)依存ライブラリが生成して
>> 放置されている一時ファイルも削除できるように
>> 上記の Options の java.io.tmpdir で独自の一時ディレクトリを
>> 利用して，終了時にそれを削除する形をとっています．
>>
>> これも考えると，クロール実行のプロセスに渡される
>> オプション(Optionsの値たち)がなぜかうまく渡されていない
>> ような気もします．
>>
>> よろしくお願いいたします．
>>
>> shinsuke
>>
>>
>> 2011年3月15日13:28 Masayuki Shibata <mshib****@shima*****>:
>>> 柴田＠亀岡市です。
>>>
>>> うちの運用では、インデックスの作成されるドキュメント数が
>>> 約 16000 弱あります。
>>>
>>> 1000 ドキュメントごとにコミットする設定にしてありますので
>>> クロールを開始してから３時間ほどで、システム設定画面の追
>>> 加されたドキュメントの数が順調に 14000 ドキュメントまで上
>>> がります。
>>>
>>> しかし残り 1000 前後となったところで上昇が止まり、最終的
>>> に完了するのが、さらにそこから１２時間ほど先になります。
>>>
>>> つまり全クロールに１５時間ほどかかるのですが、システム設
>>> 定の画面を見る限り、いつ頃完了するのか予想がつきません。
>>>
>>> ・全体のうちのどこまで進んだかを知る方法はありますか？
>>>
>>> また、相変わらず fess_crawler.out が出力されません。
>>>
>>> 処理の前半３時間、後半１２時間みたいな動きだとすると、こ
>>> のログが見られれば見当が付くのかなと思ったのですが、まだ
>>> 見られずにおります。
>>>
>>> クローラー関係のログを分離したものがこれだと言うことは、
>>> それを分離する設定が効いてないのであれば、fess.out には、
>>> ログが残っているのかも知れません。
>>>
>>> ・その場合、そのログを区別する目印は何でしょうか？
>>>
>>> たくさん質問してスミマセン。
>>>
>>> また、質問ではなくご報告 (上記調査中に判明したこと) です
>>> が...
>>>
>>> ログを見ると temp フォルダのファイルを消せなかったらしき
>>> ワーニングがあり、確かにファイルが大量に残っています。
>>>
>>> また、以下のエラーがログに相当数、残っています。
>>> ERROR org.apache.pdfbox.pdmodel.font.PDFont - Error: Could not parse
>>> predefined CMAP file for 'Adobe-Japan1-UCS2'
>>>
>>> Fess 4.0.0 + Windows Server 2003 環境です。
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-****@lists*****
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-****@lists*****
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> _______________________________________________
> Fess-user mailing list
> Fess-****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>