Kouhei Sutou
null+****@clear*****
Fri Oct 13 18:24:32 JST 2017
Kouhei Sutou 2017-10-13 18:24:32 +0900 (Fri, 13 Oct 2017) New Revision: 51411133aadc3e6168894c224a6b5389b42de3d3 https://github.com/groonga/groonga.org/commit/51411133aadc3e6168894c224a6b5389b42de3d3 Message: blog ja: PGroonga 2.0.3 has been released!!! Added files: ja/_posts/2017-10-10-pgroonga-2.0.2.md Added: ja/_posts/2017-10-10-pgroonga-2.0.2.md (+213 -0) 100644 =================================================================== --- /dev/null +++ ja/_posts/2017-10-10-pgroonga-2.0.2.md 2017-10-13 18:24:32 +0900 (b489346a) @@ -0,0 +1,213 @@ +--- +layout: post.ja +title: PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 2.0.3リリース +description: PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 2.0.3をリリースしました！ +--- + +## PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 2.0.3リリース + +PostgreSQLで高速日本語全文検索をできるようにする[PGroonga](https://pgroonga.github.io/ja/)の2.0.3をリリースしました！メジャーバージョンアップです！ + +## PGroongaについて + +メジャーバージョンアップ後の最初のリリースアナウンスなので、PGroongaについての説明をします。今回の変更のハイライトはこの後にまとめています。 + +PGroongaはPostgreSQLを高速に日本語全文検索可能なシステムに拡張する魔法のような拡張機能です。PGroongaの他にも類似の拡張機能はありますが、速度・機能面で他の拡張機能とは一線を画しています。これはPGroongaはバックエンドに[Groonga](http://groonga.org/ja/)という本格的な全文検索エンジンを使っているためです。 + +### 速度 + +速度面では類似の拡張機能である[pg\_bigm](http://pgbigm.osdn.jp/)よりも高速です。PostgreSQL本体に含まれている全文検索モジュール[textsearch](https://www.postgresql.jp/document/9.6/html/textsearch.html)よりも高速です。インデックス作成時間、検索時間ともに数倍から10倍以上高速です。 + +まずはPGroongaとpg\_bigmのインデックス作成時間です。Wikipedia日本語版データを使っています。 + +拡張機能 | インデックス作成時間 +----------|-------------------- +PGroonga | 約19分 +pg\_bigm | 約33分 + +このケースでは2倍弱高速です。 + +続いてPGroongaとtextsearchのインデックス作成時間は次の通りです。textsearchが日本語非対応なのでWikipedia英語版データを使っています。データ量が違うので↑の結果とは直接比較はできません。 + +拡張機能 | インデックス作成時間 +-----------|-------------------- +PGroonga | 約1時間24分 +textsearch | 約2時間53分 + +このケースでは2倍強高速です。 + +PGroongaとpg\_bigmの検索時間は次の通りです。 + +検索語 | ヒット数 | PGroongaの検索時間 | pg\_bigmの検索時間 +-----------------------------|----------|--------------------|------------------ +「PostgreSQL」または「MySQL」 | 約300 | *約2ms* | 約49ms +データベース | 約1万5千 | *約49ms* | 約1300ms +テレビアニメ | 約2万 | *約65ms* | 約2800ms +日本 | 約53万 | 約560ms | *約480ms* + +「日本」で検索した場合はpg\_bigmの方がやや速い(\*1)ですがそれ以外の場合ではPGroongaの方が24倍から43倍ほど高速です。どのような検索語に対しても安定して高い性能を出していると言えます。 + +(\*1) pg\_bigmは3文字以上の検索語より2文字以下の検索語の方が得意です。 + +PGroongaとtextsearchの検索時間は次の通りです。 + +検索語 | ヒット数 | PGroongaの検索時間 | textsearchの検索時間 | Groongaの検索時間 +-----------------------------|----------|--------------------|---------------------|------------------ +「PostgreSQL」または「MySQL」 | 約1600 | 約6ms | *約3ms* | 約3ms +database | 約21万 | 約698ms | *約602ms* | 約19ms +animation | 約4万 | *約173ms* | 約1000ms(\*2) | 約6ms +America | 約47万 | 約1300ms | *約1200ms* | 約45ms + +(\*2) textsearchでは「animation」で約42万件（PGroongaの約10倍）ヒットしているため遅いです。要因は「animation」を「anim」とステミングしているからです。 + +PGroongaとtextsearchの検索時間はほぼ同じです。「animation」でtextsearchの方が遅いのはヒット数の違いからくるもので、本質的な検索速度の差ではありません。 + +参考までにPGroongaが使っている全文検索エンジンGroongaでの結果もつけています。Groongaではすべて数十msで検索できているので、PGroonga・textsearchの検索速度は、全文検索の速度ではなくPostgreSQL内の共通のオーバーヘッドの影響が大きいということがわかります。 + +ベンチマークの詳細は以下を参照してください。 + + * [PGroonga対pg\_bigm](https://pgroonga.github.io/ja/reference/pgroonga-versus-pg-bigm.html) + + * [PGroonga対textsearch対pg\_trgm](https://pgroonga.github.io/ja/reference/pgroonga-versus-textsearch-and-pg-trgm.html) + +機能面では他の類似拡張機能にはない次の機能を提供しています。 + + * ノーマライズ機能 + * トークナイザーのカスタマイズ機能 + * トークンフィルターのカスタマイズ機能 + * クエリー言語を用いた検索 + * HTML対応のハイライト機能 + * HTML対応のスニペット機能 + * JSON検索 + * オートコンプリート機能 + * 類似文書検索機能 + * 同義語展開機能 + +ノーマライズ機能とは異なる表記のテキストを同等の表記のテキストに統一する処理です。 + +簡単なものでは「ﾎﾟｽｸﾞﾚ」というようにいわゆる半角カタカナで書かれたテキストも「ポスグレ」もどちらも「ポスグレ」というようにいわゆる全角カタカナに統一します。こうすることにより「ポスグレ」（全角カタカナ）で検索しても「ﾎﾟｽｸﾞﾚ」（半角カタカナ）で書かれたテキストでもヒットするようになります。 + +難しいものだと「㍊」は「ミリバール」に変換します。これらは[UnicodeのNFKC](http://unicode.org/reports/tr15/)という方法をベースにしています。 + +トークナイザーのカスタマイズ機能とは検索キーワードとなるキーワードを抽出する処理（トークナイズ処理）をカスタマイズできる機能です。抽出処理をカスタマイズすることにより、検索精度・検索性能のトレードオフをユーザーがコントロールできるようになります。 + +たとえば、「形態素解析器を使ったトークナイザー」というものにすれば精度・性能は向上しますが、検索漏れが発生することがあります。なお、他の類似拡張機能で形態素解析器を使ったトークナイズ処理をできるものはありません。PGroongaだけです。 + +「形態素解析器を使ったトークナイザー」には[MeCab](http://taku910.github.io/mecab/)（OSS）を使ったものと[JMAT](http://www.slideshare.net/JSUXDesign/jmat-groonga-tokenizertalks20150320)（非OSSの商用製品）を使ったものがあります。バックエンドで使っているGroongaはトークナイザーをプラグインとして追加できる機能を提供しているため様々なプロダクトを活用してトークナイザーを実装できるのです。 + +トークンフィルターのカスタマイズ機能とはトークナイザーで抽出したキーワードを加工する処理をカスタマイズできる機能です。textsearchではdictionaryという名前で同様の機能があります。PGroongaもtextsearchもステミング機能はこの仕組みで実現しています。 + +クエリー言語を用いた検索とは「A OR (B -C)」というようにAND/OR/NOT検索をユーザーが指定できる機能です。Googleと同様の文法で使えます。 + +HTML対応のハイライト機能とは検索キーワードを`<span class="keyword">...</span>`でマークアップする機能です。結果はそのままHTML内で使っても安全です。Webアプリケーションの開発に便利です。 + +HTML対応のスニペット機能とは検索キーワード周辺テキストを返す機能で、Googleの検索結果でも使われています。もちろん、キーワードは`<span class="keyword">...</span>`でマークアップされます。こちらも結果をそのままHTML内で使っても安全です。 + +JSON検索機能とは`jsonb`型のカラム全体をインデックスに登録し、柔軟に検索できる機能です。JSON内のすべてのテキストを全文検索することもできるため、JSON形式でいろんな構造のログを保存しておいて後で検索、といったことも簡単にできます。 + +オートコンプリート機能とは検索キーワードを入力するテキストボックスで入力キーワードを補完する機能です。Googleでも実装されている機能です。Googleと同様にローマ字で入力しても補完できます。 + +類似文書検索機能とは内容が似ているテキストを検索する機能です。ブログで類似記事を表示するために使えます。 + +同義語展開機能とは同じ意味だけど表現の違うキーワードをまとめて検索する機能です。たとえば「牛乳」と検索したときに「牛乳」も「ミルク」も検索します。 + +それぞれの機能が気になった人は[PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム](https://slide.rabbit-shocker.org/authors/kou/php-conference-2017/)も見てください。 + +現在は未実装ですが、今後、提供予定の機能には次のような機能があります。これらはGroongaでは実装されている機能です。 + + * 重み付け指定機能 + +### 使い方 + +PGroongaは全文検索のことをあまり知らなくても簡単に使えます。インデックスを作成して`WHERE`に条件を指定するだけです。 + +```sql +CREATE INDEX index_name ON table USING pgroonga (column); + +SELECT * FROM table WHERE column &@~ '全文検索'; +``` + +`LIKE`でもインデックスを使って検索できる機能を提供しているため、既存アプリケーションで次のように書いていたとしてもアプリケーションを変更せずに高速にできます。ただし、`LIKE`の方が全文検索専用の演算子`&@~`よりも遅いので、おいおいは専用の書き方に直していくことをオススメします。 + +```sql +SELECT * FROM table WHERE column LIKE '%全文検索%'; +``` + +興味がでてきましたか？[インストール](https://pgroonga.github.io/ja/install/)して[チュートリアル](https://pgroonga.github.io/ja/tutorial/)を試してみてください。一通りの機能を確認できます。 + +インストールは簡単です。主要なプラットフォーム用にパッケージを提供しているからです。Windows用のバイナリーも提供しています。 + +## ハイライト + +今回のリリースの紹介に戻ります。 + +1.2.3以降のハイライトは次の通りです。 + + * PostgreSQL 10のサポート + + * クエリーの実行プランの精度向上（高速化） + + * `pgroonga`スキーマの非推奨化 + + * PGroonga 1系と後方互換性を維持しているため、従来通り`pgroonga`スキーマを使うこともできます。 + +それぞれ説明します。 + +### PostgreSQL 10のサポート + +先日リリースされたPostgreSQL 10に対応しています。最新のPostgreSQLでPGroongaを使えます！ + +PostgreSQL 10から導入されたロジカルレプリケーションにも対応しています。従来のフィジカルレプリケーションでも[レプリケーション](https://pgroonga.github.io/ja/reference/replication.html)できましたが、PostgreSQL 10対応で新しい選択肢が増えたことになります。用途にあわせて使い分けてください。 + +従来のフィジカルレプリケーションを使うとディスク使用量が多いのですが、ある程度クラッシュリカバリーが効くようになります。 + +一方、ロジカルレプリケーションではより柔軟なスキーマ構成を実現できます。たとえば、マスターは更新専用にし、参照はスレーブだけで受付、PGroongaのインデックスはスレーブだけに作る（マスターには作らない）という構成もできます。こうすることで、更新性能を向上させつつ、参照に対してスケールアウトする構成にできます。 + +それぞれのレプリケーション方法についてベンチマークを実施する予定です。結果を楽しみにしていてください。 + +PostgreSQLクラスターの構成について商用サポートが必要な場合は[PGroongaのサポートページ](https://pgroonga.github.io/ja/support/)を参照してください。 + +### クエリーの実行プランの精度向上（高速化） + +PostgreSQLのプランナーはPGroongaを含む各インデックスから情報を取得して処理コストを計算し、最適な実行プランを選択します。PGroongaがより精度の高い結果をプランナーに返せば、より高速な実行プランを選択できるようになります。 + +今回のリリースでは`STABLE`な関数（DBの内容によらず引数が同じなら結果が同じになる関数）・`IMMUTABLE`な関数（同一トランザクション内で引数が同じなら結果が同じになる関数）の結果を使って検索するときの実行プランの精度が向上しました。PGroongaで使う`IMMUTABLE`な関数の代表は[`pgroonga_query_expand()`](https://pgroonga.github.io/reference/functions/pgroonga-query-expand.html)です。これはクエリー展開をする関数で、次のように検索クエリーに対して使います。このように検索クエリーを加工する関数を使ったときでもより高速な実行プランを選択しやすくなりました。 + +```sql +SELECT * + FROM diaries + WHERE content &@~ pgroonga_query_expand('synonyms', 'term', 'synonyms', + 'ユーザーが入力した検索クエリー'); +``` + +### `pgroonga`スキーマの非推奨化 + +PGroonga 1系では`pgroonga`スキーマ以下に関数やオペレータークラスを定義していましたが、カレントスキーマ（多くの場合は`public`）以下にプレフィックス付きで定義した方が使いやすいという声が多かったです。そのため、PGroonga 2系では`pgroonga`スキーマを非推奨とし、`pgroonga_`プレフィックス付きの名前で定義するようにしました。 + +`pgroonga`スキーマは非推奨となりましたが、後方互換性を維持するために従来通り`pgroonga`スキーマを使うこともできます。安心してアップグレードしてください。少なくともPGroonga 2系の間は`pgroonga`スキーマをサポートするので、徐々に`pgroonga_`プレフィックスを使った使い方に更新していってください。 + +## アップグレード方法 + +1.0以降のすべてのバージョンと互換性があります。[アップグレード](https://pgroonga.github.io/ja/upgrade/)の「互換性がある場合」用の手順でアップグレードしてください。 + +## おしらせ + +### セッション + +2017年11月3日（金、祝日）に[PostgreSQL Conference Japan 2017](https://www.postgresql.jp/events/jpug-pgcon2017)で[PGroonga 2.0 - PostgreSQLでの全文検索の決定版](https://www.postgresql.jp/events/jpug-pgcon2017#A4)というセッションがあります。 + +2017年12月5日（金）に[PGConf.ASIA 2017](http://www.pgconf.asia/JA/2017/)で[PGroonga 2.0 – Make PostgreSQL rich full text search system backend!](http://www.pgconf.asia/JA/2017/day-1/#B5)というセッションがあります。 + +どちらもPGroonga 2関連のセッションですが、PostgreSQL Conference Japan 2017の方がまだPGroongaを使っていない人向け、PGConf.ASIA 2017の方がPGroongaをすでに使っている人と拡張機能を開発している人向けの内容になります。 + +### サポートサービス + +[PGroongaのサポートサービス](https://pgroonga.github.io/ja/support/)を提供しています。インデックスや検索の設計方法に関するコンサルティングやトラブル時の調査、パフォーマンス改善・新機能追加などの技術支援など、PGroongaに関わるサポートが必要な場合はご相談ください。 + +## まとめ + +PGroongaの新しいリリースを紹介しました。PGroonga 2になって、よりPostgreSQLらしく使えるようになっています。 + +ここで紹介したもの以外の変更点は[リリースノート](https://pgroonga.github.io/ja/news/#version-2-0-3)を参照してください。 + +PostgreSQLで高速に日本語全文検索をしたいという方はPGroongaを使ってガンガン検索してください！ -------------- next part -------------- HTML����������������������������... URL: https://lists.osdn.me/mailman/archives/groonga-commit/attachments/20171013/942e99a1/attachment-0001.htm
