Forums: 【移行しました】サポート (Thread #35697)

h2→Mysqlへの変更に関して (2014-07-08 11:04 by hogefoobar #73780)

前回はクロールのエラーについてご教示頂き助かりました。

その後、無事に動くまで持って行けたのですが、検索対象が10万件を超えるために、こちらの掲示板で、h2の性能限界が10万件ということを知り、MySql版への変更を行いました。

・[/opt/fess]フォルダをリネームして[/opt/fess_h2]とする。(万一の為)
・[fess-server-mysql-9.1.0-1.noarch.rpm]をインストール
http://fess.sourceforge.jp/ja/5.0/config/db.html
 の内容と現状を突合せ、必要があれば修正
・[/opt/fess_h2]の削除

を行っています。

クロール出来ているようなのですが、クロールの件数がピッタリ10万件で止まってしまいます。
Mysqlのテーブルの中身も見たのですが、10万件に該当するようなフィールドも見つからず…
もしかして、まだh2の方を向いているのでは?という疑念もあり…
どのようにして確認をすればよいでしょうか?

以下にMysqlのフィールドのレコード数を載せておきます。
mysql> select table_name, table_rows from information_schema.TABLES;
+---------------------------------------+------------+
| table_name | table_rows |
+---------------------------------------+------------+
| CHARACTER_SETS | NULL |
| COLLATIONS | NULL |
| COLLATION_CHARACTER_SET_APPLICABILITY | NULL |
| COLUMNS | NULL |
| COLUMN_PRIVILEGES | NULL |
| ENGINES | NULL |
| EVENTS | NULL |
| FILES | NULL |
| GLOBAL_STATUS | NULL |
| GLOBAL_VARIABLES | NULL |
| KEY_COLUMN_USAGE | NULL |
| PARTITIONS | NULL |
| PLUGINS | NULL |
| PROCESSLIST | NULL |
| PROFILING | NULL |
| REFERENTIAL_CONSTRAINTS | NULL |
| ROUTINES | NULL |
| SCHEMATA | NULL |
| SCHEMA_PRIVILEGES | NULL |
| SESSION_STATUS | NULL |
| SESSION_VARIABLES | NULL |
| STATISTICS | NULL |
| TABLES | NULL |
| TABLE_CONSTRAINTS | NULL |
| TABLE_PRIVILEGES | NULL |
| TRIGGERS | NULL |
| USER_PRIVILEGES | NULL |
| VIEWS | NULL |
| CLICK_LOG | 12 |
| CRAWLING_SESSION | 1 |
| CRAWLING_SESSION_INFO | 14 |
| DATA_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| DATA_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| DATA_CRAWLING_CONFIG | 0 |
| FAILURE_URL | 7806 |
| FAVORITE_LOG | 0 |
| FILE_AUTHENTICATION | 0 |
| FILE_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| FILE_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| FILE_CRAWLING_CONFIG | 1 |
| JOB_LOG | 7 |
| LABEL_TYPE | 0 |
| LABEL_TYPE_TO_ROLE_TYPE_MAPPING | 0 |
| OVERLAPPING_HOST | 0 |
| PATH_MAPPING | 1 |
| REQUEST_HEADER | 0 |
| ROLE_TYPE | 0 |
| SCHEDULED_JOB | 4 |
| SEARCH_FIELD_LOG | 77 |
| SEARCH_LOG | 23 |
| USER_INFO | 7 |
| WEB_AUTHENTICATION | 0 |
| WEB_CONFIG_TO_LABEL_TYPE_MAPPING | 0 |
| WEB_CONFIG_TO_ROLE_TYPE_MAPPING | 0 |
| WEB_CRAWLING_CONFIG | 0 |
| ACCESS_RESULT | 0 |
| ACCESS_RESULT_DATA | 0 |
| URL_FILTER | 0 |
| URL_QUEUE | 0 |
| columns_priv | 0 |
| db | 4 |
| event | 0 |
| func | 0 |
| general_log | 2 |
| help_category | 40 |
| help_keyword | 453 |
| help_relation | 1009 |
| help_topic | 510 |
| host | 0 |
| ndb_binlog_index | 0 |
| plugin | 0 |
| proc | 0 |
| procs_priv | 0 |
| servers | 0 |
| slow_log | 2 |
| tables_priv | 0 |
| time_zone | 0 |
| time_zone_leap_second | 0 |
| time_zone_name | 0 |
| time_zone_transition | 0 |
| time_zone_transition_type | 0 |
| user | 7 |
+---------------------------------------+------------+

Reply to #73780×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: h2→Mysqlへの変更に関して (2014-07-09 21:05 by shatake #73791)

http://fess.codelibs.org/ja/9.1/admin/webCrawlingConfig-guide.html
にありますように、1つのクロール設定の最大アクセス数はデフォルトのまま
ですとMySQL版でも10万件になります。

レコード数を確認しましたが、クロール設定はファイルシステム
クロール設定を一つだけ登録しているかと思いますので、10万件以上
インデックスするにはこちらの最大アクセス数を変更して頂く必要があるかと思います。

以上、よろしくお願い致します。
Best Answer Reply to #73780

Reply to #73791×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: h2→Mysqlへの変更に関して (2014-07-10 17:09 by hogefoobar #73804)

shatake様、ありがとうございました。

該当フィールド、確かに空白でしたので、こちらを記入して様子見をしたいと思います。
基本的な事項で申し訳ありませんでした。

また結果はご報告いたします。

以上、よろしくお願いします。
Reply to #73791

Reply to #73804×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login

Re: h2→Mysqlへの変更に関して (2014-07-14 13:28 by hogefoobar #73834)

件数を具体的に記入しましたところ(今回は100万件)、無事に10万件を突破できることを確認しました。

対象件数が多すぎて、24時間のクロールでも終わらなくなったのは、また別の悩みですが。こちらは同時実行数や間隔を調整して何とか時間を短縮する術を考えたいと思います。

ありがとうございました。
Reply to #73804

Reply to #73834×

You can not use Wiki syntax
You are not logged in. To discriminate your posts from the rest, you need to pick a nickname. (The uniqueness of nickname is not reserved. It is possible that someone else could use the exactly same nickname. If you want assurance of your identity, you are recommended to login before posting.) Login