Download
Magazine
Develop
Account
Download
Magazine
Develop
Login
Forgot Account/Password
Create Account
Language
Help
Language
Help
×
Login
Login Name
Password
×
Forgot Account/Password
Category:
Software
People
PersonalForge
Magazine
Wiki
Search
OSDN
>
Find Software
>
Internet
>
WWW/HTTP
>
Indexing/Search
>
Fess
>
Forums
>
【移行しました】サポート
>
h2→Mysqlへの変更に関して
Description
Project Summary
Developer Dashboard
Web Page
Developers
Image Gallery
List of RSS Feeds
Activity
Statistics
History
Downloads
List of Releases
Stats
Source Code
Code Repository list
Subversion
View Repository
Communication
Forums
List of Forums
【移行しました】サポート (1160)
【移行しました】機能要求 (35)
Mailing Lists
list of ML
fess-user
News
Forums:
【移行しました】サポート
(Thread #35697)
Return to Thread list
RSS
h2→Mysqlへの変更に関して (2014-07-08 11:04 by
hogefoobar
#73780)
Reply
前回はクロールのエラーについてご教示頂き助かりました。
その後、無事に動くまで持って行けたのですが、検索対象が10万件を超えるために、こちらの掲示板で、h2の性能限界が10万件ということを知り、MySql版への変更を行いました。
・[/opt/fess]フォルダをリネームして[/opt/fess_h2]とする。(万一の為)
・[fess-server-mysql-9.1.0-1.noarch.rpm]をインストール
・
http://fess.sourceforge.jp/ja/5.0/config/db.html
の内容と現状を突合せ、必要があれば修正
・[/opt/fess_h2]の削除
を行っています。
クロール出来ているようなのですが、クロールの件数がピッタリ10万件で止まってしまいます。
Mysqlのテーブルの中身も見たのですが、10万件に該当するようなフィールドも見つからず…
もしかして、まだh2の方を向いているのでは?という疑念もあり…
どのようにして確認をすればよいでしょうか?
以下にMysqlのフィールドのレコード数を載せておきます。
mysql> select table_name, table_rows from information_schema.TABLES;
+---------------------------------------+------------+
| table_name | table_rows |
+---------------------------------------+------------+
| CHARACTER_SETS | NULL |
| COLLATIONS | NULL |
| COLLATION_CHARACTER_SET_APPLICABILITY | NULL |
| COLUMNS | NULL |
| COLUMN_PRIVILEGES | NULL |
| ENGINES | NULL |
| EVENTS | NULL |
| FILES | NULL |
| GLOBAL_STATUS | NULL |
| GLOBAL_VARIABLES | NULL |
| KEY_COLUMN_USAGE | NULL |
| PARTITIONS | NULL |
| PLUGINS | NULL |
| PROCESSLIST | NULL |
| PROFILING | NULL |
| REFERENTIAL_CONSTRAINTS | NULL |
| ROUTINES | NULL |
| SCHEMATA | NULL |
| SCHEMA_PRIVILEGES | NULL |
| SESSION_STATUS | NULL |
| SESSION_VARIABLES | NULL |
| STATISTICS | NULL |
| TABLES | NULL |
| TABLE_CONSTRAINTS | NULL |
| TABLE_PRIVILEGES | NULL |
| TRIGGERS | NULL |
| USER_PRIVILEGES | NULL |
| VIEWS | NULL |
| CLICK_LOG | 12 |
| CRAWLING_SESSION | 1 |
| CRAWLING_SESSION_INFO | 14 |
| DATA_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| DATA_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| DATA_CRAWLING_CONFIG | 0 |
| FAILURE_URL | 7806 |
| FAVORITE_LOG | 0 |
| FILE_AUTHENTICATION | 0 |
| FILE_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| FILE_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| FILE_CRAWLING_CONFIG | 1 |
| JOB_LOG | 7 |
| LABEL_TYPE | 0 |
| LABEL_TYPE_TO_ROLE_TYPE_MAPPING | 0 |
| OVERLAPPING_HOST | 0 |
| PATH_MAPPING | 1 |
| REQUEST_HEADER | 0 |
| ROLE_TYPE | 0 |
| SCHEDULED_JOB | 4 |
| SEARCH_FIELD_LOG | 77 |
| SEARCH_LOG | 23 |
| USER_INFO | 7 |
| WEB_AUTHENTICATION | 0 |
| WEB_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| WEB_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| WEB_CRAWLING_CONFIG | 0 |
| ACCESS_RESULT | 0 |
| ACCESS_RESULT_DATA | 0 |
| URL_FILTER | 0 |
| URL_QUEUE | 0 |
| columns_priv | 0 |
| db | 4 |
| event | 0 |
| func | 0 |
| general_log | 2 |
| help_category | 40 |
| help_keyword | 453 |
| help_relation | 1009 |
| help_topic | 510 |
| host | 0 |
| ndb_binlog_index | 0 |
| plugin | 0 |
| proc | 0 |
| procs_priv | 0 |
| servers | 0 |
| slow_log | 2 |
| tables_priv | 0 |
| time_zone | 0 |
| time_zone_leap_second | 0 |
| time_zone_name | 0 |
| time_zone_transition | 0 |
| time_zone_transition_type | 0 |
| user | 7 |
+---------------------------------------+------------+
Reply to #73780
×
Subject
Body
Reply To Message #73780 > 前回はクロールのエラーについてご教示頂き助かりました。 > > その後、無事に動くまで持って行けたのですが、検索対象が10万件を超えるために、こちらの掲示板で、h2の性能限界が10万件ということを知り、MySql版への変更を行いました。 > > ・[/opt/fess]フォルダをリネームして[/opt/fess_h2]とする。(万一の為) > ・[fess-server-mysql-9.1.0-1.noarch.rpm]をインストール > ・http://fess.sourceforge.jp/ja/5.0/config/db.html > の内容と現状を突合せ、必要があれば修正 > ・[/opt/fess_h2]の削除 > > を行っています。 > > クロール出来ているようなのですが、クロールの件数がピッタリ10万件で止まってしまいます。 > Mysqlのテーブルの中身も見たのですが、10万件に該当するようなフィールドも見つからず… > もしかして、まだh2の方を向いているのでは?という疑念もあり… > どのようにして確認をすればよいでしょうか? > > 以下にMysqlのフィールドのレコード数を載せておきます。 > mysql> select table_name, table_rows from information_schema.TABLES; > +---------------------------------------+------------+ > | table_name | table_rows | > +---------------------------------------+------------+ > | CHARACTER_SETS | NULL | > | COLLATIONS | NULL | > | COLLATION_CHARACTER_SET_APPLICABILITY | NULL | > | COLUMNS | NULL | > | COLUMN_PRIVILEGES | NULL | > | ENGINES | NULL | > | EVENTS | NULL | > | FILES | NULL | > | GLOBAL_STATUS | NULL | > | GLOBAL_VARIABLES | NULL | > | KEY_COLUMN_USAGE | NULL | > | PARTITIONS | NULL | > | PLUGINS | NULL | > | PROCESSLIST | NULL | > | PROFILING | NULL | > | REFERENTIAL_CONSTRAINTS | NULL | > | ROUTINES | NULL | > | SCHEMATA | NULL | > | SCHEMA_PRIVILEGES | NULL | > | SESSION_STATUS | NULL | > | SESSION_VARIABLES | NULL | > | STATISTICS | NULL | > | TABLES | NULL | > | TABLE_CONSTRAINTS | NULL | > | TABLE_PRIVILEGES | NULL | > | TRIGGERS | NULL | > | USER_PRIVILEGES | NULL | > | VIEWS | NULL | > | CLICK_LOG | 12 | > | CRAWLING_SESSION | 1 | > | CRAWLING_SESSION_INFO | 14 | > | DATA_CONFIG_TO_LABEL_TYPE_MAPPING | 0 | > | DATA_CONFIG_TO_ROLE_TYPE_MAPPING | 0 | > | DATA_CRAWLING_CONFIG | 0 | > | FAILURE_URL | 7806 | > | FAVORITE_LOG | 0 | > | FILE_AUTHENTICATION | 0 | > | FILE_CONFIG_TO_LABEL_TYPE_MAPPING | 0 | > | FILE_CONFIG_TO_ROLE_TYPE_MAPPING | 0 | > | FILE_CRAWLING_CONFIG | 1 | > | JOB_LOG | 7 | > | LABEL_TYPE | 0 | > | LABEL_TYPE_TO_ROLE_TYPE_MAPPING | 0 | > | OVERLAPPING_HOST | 0 | > | PATH_MAPPING | 1 | > | REQUEST_HEADER | 0 | > | ROLE_TYPE | 0 | > | SCHEDULED_JOB | 4 | > | SEARCH_FIELD_LOG | 77 | > | SEARCH_LOG | 23 | > | USER_INFO | 7 | > | WEB_AUTHENTICATION | 0 | > | WEB_CONFIG_TO_LABEL_TYPE_MAPPING | 0 | > | WEB_CONFIG_TO_ROLE_TYPE_MAPPING | 0 | > | WEB_CRAWLING_CONFIG | 0 | > | ACCESS_RESULT | 0 | > | ACCESS_RESULT_DATA | 0 | > | URL_FILTER | 0 | > | URL_QUEUE | 0 | > | columns_priv | 0 | > | db | 4 | > | event | 0 | > | func | 0 | > | general_log | 2 | > | help_category | 40 | > | help_keyword | 453 | > | help_relation | 1009 | > | help_topic | 510 | > | host | 0 | > | ndb_binlog_index | 0 | > | plugin | 0 | > | proc | 0 | > | procs_priv | 0 | > | servers | 0 | > | slow_log | 2 | > | tables_priv | 0 | > | time_zone | 0 | > | time_zone_leap_second | 0 | > | time_zone_name | 0 | > | time_zone_transition | 0 | > | time_zone_transition_type | 0 | > | user | 7 | > +---------------------------------------+------------+
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: h2→Mysqlへの変更に関して (2014-07-09 21:05 by
shatake
#73791)
Reply
http://fess.codelibs.org/ja/9.1/admin/webCrawlingConfig-guide.html
にありますように、1つのクロール設定の最大アクセス数はデフォルトのまま
ですとMySQL版でも10万件になります。
レコード数を確認しましたが、クロール設定はファイルシステム
クロール設定を一つだけ登録しているかと思いますので、10万件以上
インデックスするにはこちらの最大アクセス数を変更して頂く必要があるかと思います。
以上、よろしくお願い致します。
Best Answer
Reply to
#73780
Reply to #73791
×
Subject
Body
Reply To Message #73791 > http://fess.codelibs.org/ja/9.1/admin/webCrawlingConfig-guide.html > にありますように、1つのクロール設定の最大アクセス数はデフォルトのまま > ですとMySQL版でも10万件になります。 > > レコード数を確認しましたが、クロール設定はファイルシステム > クロール設定を一つだけ登録しているかと思いますので、10万件以上 > インデックスするにはこちらの最大アクセス数を変更して頂く必要があるかと思います。 > > 以上、よろしくお願い致します。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: h2→Mysqlへの変更に関して (2014-07-10 17:09 by
hogefoobar
#73804)
Reply
shatake様、ありがとうございました。
該当フィールド、確かに空白でしたので、こちらを記入して様子見をしたいと思います。
基本的な事項で申し訳ありませんでした。
また結果はご報告いたします。
以上、よろしくお願いします。
Reply to
#73791
Reply to #73804
×
Subject
Body
Reply To Message #73804 > shatake様、ありがとうございました。 > > 該当フィールド、確かに空白でしたので、こちらを記入して様子見をしたいと思います。 > 基本的な事項で申し訳ありませんでした。 > > また結果はご報告いたします。 > > 以上、よろしくお願いします。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel
Re: h2→Mysqlへの変更に関して (2014-07-14 13:28 by
hogefoobar
#73834)
Reply
件数を具体的に記入しましたところ(今回は100万件)、無事に10万件を突破できることを確認しました。
対象件数が多すぎて、24時間のクロールでも終わらなくなったのは、また別の悩みですが。こちらは同時実行数や間隔を調整して何とか時間を短縮する術を考えたいと思います。
ありがとうございました。
Reply to
#73804
Reply to #73834
×
Subject
Body
Reply To Message #73834 > 件数を具体的に記入しましたところ(今回は100万件)、無事に10万件を突破できることを確認しました。 > > 対象件数が多すぎて、24時間のクロールでも終わらなくなったのは、また別の悩みですが。こちらは同時実行数や間隔を調整して何とか時間を短縮する術を考えたいと思います。 > > ありがとうございました。
You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.)
Login
Nickname
Preview
Post
Cancel