Kouhei Sutou
kou****@clear*****
2014年 8月 15日 (金) 14:12:08 JST
須藤です。 In <CANM+HhdUYT4aYti_h=Wz0A-****@mail*****> "[groonga-dev,02637] [相談]トークナイザープラグインのためのgrn_token周りの処理について" on Fri, 15 Aug 2014 09:23:54 +0900, Naoya Murakami <visio****@gmail*****> wrote: > [commit1] > token: push grn_token_mode to grn_ctx for tokenizer > https://github.com/naoa/groonga/commit/7fc86773660c2ee72c3efd44388e84d2f25c7e1e grn_tokenizer_query_open()も変更してgrn_tokenizer_queryにも設 定したほうがよいと思います！そうすると、トークナイザーを開発 している人はgrn_ctx_push()で情報が渡ってくることを意識しなく てもよくなって、考えることが減るのです。 > (3)さらに、POSITIONのスキップフラグも追加していただけると、トークン > フィルターも簡単に実現できるようになって最高です。 > （現状、トークナイザー側でトークンを飛ばそうと考えると、最後のトー > クン以外であればトークナイザーのなかでループさせることで実現できます > が、最後のトークンでフィルターさせるとwarningになってしまうので先読 > みが必要かなぁとかかなりカオスだったり。。） > > #define GRN_TOKENIZER_TOKEN_WITH_POSITION_SKIP (0x01L<<5) GRN_TOKENIZER_TOKEN_SKIP_WITH_POSITIONの方がそれっぽいかなぁ と思いました！ -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> Groongaベースの全文検索システムを総合サポート: http://groonga.org/ja/support/ パッチ採用 - プログラミングが楽しい人向けの採用プロセス: http://www.clear-code.com/recruitment/ コードリーダー育成支援 - 自然とリーダブルコードを書くチームへ: http://www.clear-code.com/services/code-reader/
