Download
Magazine
Develop
Account
Download
Magazine
Develop
Login
Forgot Account/Password
Create Account
Language
Help
Language
Help
×
Login
Login Name
Password
×
Forgot Account/Password
Category:
Software
People
PersonalForge
Magazine
Wiki
Search
OSDN
>
Find Software
>
Internet
>
WWW/HTTP
>
Indexing/Search
>
Fess
>
Forums
>
【移行しました】機能要求
>
クローラーごとの接続数の設定 ほか
Description
Project Summary
Developer Dashboard
Web Page
Developers
Image Gallery
List of RSS Feeds
Activity
Statistics
History
Downloads
List of Releases
Stats
Source Code
Code Repository list
Subversion
View Repository
Communication
Forums
List of Forums
【移行しました】サポート (1161)
【移行しました】機能要求 (35)
Mailing Lists
list of ML
fess-user
News
Forums:
【移行しました】機能要求
(Thread #38260)
Return to Thread list
RSS
クローラーごとの接続数の設定 ほか (2016-12-20 17:16 by
wasabi1975
#79157)
Reply
たびたび申し訳ございません。
全般の設定で、システム全体の同時クロール数を設定できますが、
クローラーごとに最大接続数を設定できると助かります。
全体の接続数が「5」だとしたとき、
全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」
巡回先を絞って頻度を上げたサイト別クローラーを「4」など
設定したいと考えております。
このほか、小さな点でありますが、
・クローラーの一覧表示数が25件で固定ですが、プルダウンで25~200ぐらいまで選べる
をお願いできないでしょうか。
ご検討お願いいたします。
Reply to #79157
×
Subject
Body
Reply To Message #79157 > たびたび申し訳ございません。 > > 全般の設定で、システム全体の同時クロール数を設定できますが、 > クローラーごとに最大接続数を設定できると助かります。 > > 全体の接続数が「5」だとしたとき、 > 全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」 > 巡回先を絞って頻度を上げたサイト別クローラーを「4」など > 設定したいと考えております。 > > このほか、小さな点でありますが、 > ・クローラーの一覧表示数が25件で固定ですが、プルダウンで25~200ぐらいまで選べる > をお願いできないでしょうか。 > > ご検討お願いいたします。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-21 06:20 by
shinsuke
#79159)
Reply
クローラごとのスレッド数は
http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15
と
http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16
の掛け合わせになります。
DefaultCrawlerはデフォルトのクローラのジョブになるので、
そのような要件の場合にはクローラのジョブを分けて、
クロール設定のスレッド数で調整してください。
クロール設定のジョブはクロール設定の詳細からジョブを
作成することができます。
> ・クローラーの一覧表示数が25件で固定ですが、プルダウンで25~200ぐらいまで選べる
次のバージョンで設定で変更できるようにしたいと思います。
Reply to
#79157
Reply to #79159
×
Subject
Body
Reply To Message #79159 > クローラごとのスレッド数は > http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15 > と > http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16 > の掛け合わせになります。 > > DefaultCrawlerはデフォルトのクローラのジョブになるので、 > そのような要件の場合にはクローラのジョブを分けて、 > クロール設定のスレッド数で調整してください。 > クロール設定のジョブはクロール設定の詳細からジョブを > 作成することができます。 > > > ・クローラーの一覧表示数が25件で固定ですが、プルダウンで25~200ぐらいまで選べる > > 次のバージョンで設定で変更できるようにしたいと思います。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-22 10:43 by
wasabi1975
#79164)
Reply
お返事いただきありがとうございます。
実はクローラーのウェブで設定しているジョブが多く、
クロール条件式も複雑なため、
クローラーごとに接続数が設定できればと思いました。
余力があったときにご検討いいただければ幸いです。
よろしくお願いいたします。
Reply to
#79159
Reply to #79164
×
Subject
Body
Reply To Message #79164 > お返事いただきありがとうございます。 > > 実はクローラーのウェブで設定しているジョブが多く、 > クロール条件式も複雑なため、 > クローラーごとに接続数が設定できればと思いました。 > > 余力があったときにご検討いいただければ幸いです。 > > よろしくお願いいたします。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-22 11:08 by
shinsuke
#79165)
Reply
私が状況を理解できない感もあるため、整理しますと
Fessでは、ジョブで実行されるクローラ(DefaultCrawler等)は
1)
http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15
2)
http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16
の設定値で全体のアクセスするスレッド数(接続数)が決まります。
ですので、DefaultCrawlerの接続数は1x2になります(2は設定ごとになりますが)。
> 全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」
> 巡回先を絞って頻度を上げたサイト別クローラーを「4」など
上記は
a) 複数のジョブ(クローラ)を作成して、調整する
b) 2のクロール設定ごとに調整する(1は多めにする感じかもしれませんが)
のどちらかのパターンで対応可能と考えています。
Reply to
#79164
Reply to #79165
×
Subject
Body
Reply To Message #79165 > 私が状況を理解できない感もあるため、整理しますと > Fessでは、ジョブで実行されるクローラ(DefaultCrawler等)は > 1) http://fess.codelibs.org/ja/10.3/admin/general-guide.html#id15 > 2) http://fess.codelibs.org/ja/10.3/admin/webconfig-guide.html#id16 > の設定値で全体のアクセスするスレッド数(接続数)が決まります。 > ですので、DefaultCrawlerの接続数は1x2になります(2は設定ごとになりますが)。 > > > 全URLをゆっくり巡回するDefaultCrawlerの接続数を「1」 > > 巡回先を絞って頻度を上げたサイト別クローラーを「4」など > > 上記は > a) 複数のジョブ(クローラ)を作成して、調整する > b) 2のクロール設定ごとに調整する(1は多めにする感じかもしれませんが) > のどちらかのパターンで対応可能と考えています。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-22 12:44 by
wasabi1975
#79166)
Reply
たびたび申し訳ありません。
「クローラー」の「ウェブ」で、巡回先を登録しますが、
このときに、a.comをa.comの除外設定などと併せて1ページで登録し、
b.comとb.comのクロール設定を、別のページで登録しています。
a.com、b.com、c.com、d.com、e.comのように、
ドメインごとに1ページずつ設定を増やしてゆくと、
default crawlerを回したときに、
「システム」の「全般」の「同時クロール数」の上限まで
default crawlerが使い切ってしまうようです。
分かりにくく申し訳ございません。
Reply to
#79165
Reply to #79166
×
Subject
Body
Reply To Message #79166 > たびたび申し訳ありません。 > > 「クローラー」の「ウェブ」で、巡回先を登録しますが、 > このときに、a.comをa.comの除外設定などと併せて1ページで登録し、 > b.comとb.comのクロール設定を、別のページで登録しています。 > > a.com、b.com、c.com、d.com、e.comのように、 > ドメインごとに1ページずつ設定を増やしてゆくと、 > default crawlerを回したときに、 > 「システム」の「全般」の「同時クロール数」の上限まで > default crawlerが使い切ってしまうようです。 > > 分かりにくく申し訳ございません。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-22 13:03 by
shinsuke
#79167)
Reply
ありがとうございます。ちょっとわかったような気もします。
クローラ(ジョブ)ごとのスレッド数(接続数)の上限はジョブ単位で設定することを
想定しているので、ジョブとして作成するのが正しいかと思います。
細かい調整はクロールジョブに含まれるクロール設定で行う感じに
なると思います。
Reply to
#79166
Reply to #79167
×
Subject
Body
Reply To Message #79167 > ありがとうございます。ちょっとわかったような気もします。 > クローラ(ジョブ)ごとのスレッド数(接続数)の上限はジョブ単位で設定することを > 想定しているので、ジョブとして作成するのが正しいかと思います。 > 細かい調整はクロールジョブに含まれるクロール設定で行う感じに > なると思います。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: クローラーごとの接続数の設定 ほか (2016-12-26 11:50 by
wasabi1975
#79177)
Reply
いえいえ、こちらこそありがとうございました。
ジョブのスレッド数で調整いたします。
よろしくお願いいたします。
Reply to
#79167
Reply to #79177
×
Subject
Body
Reply To Message #79177 > いえいえ、こちらこそありがとうございました。 > ジョブのスレッド数で調整いたします。 > > よろしくお願いいたします。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel