Naoya Murakami
visio****@gmail*****
2014年 8月 15日 (金) 15:08:06 JST
村上です。 >森さん ありがとうございます！これができるとすごい嬉しいです！ プルリクエストを送らせていただきましたので、マージをお願いします。 https://github.com/groonga/groonga/pull/193 >須藤さん ありがとうございます！ いただいたコメントを反映した上でプルリクエストをしました！ 2014年8月15日 14:12 Kouhei Sutou <kou****@clear*****>: > 須藤です。 > > In <CANM+HhdUYT4aYti_h=Wz0A-****@mail*****> > "[groonga-dev,02637] [相談]トークナイザープラグインのためのgrn_token周りの処理について" on Fri, 15 > Aug 2014 09:23:54 +0900, > Naoya Murakami <visio****@gmail*****> wrote: > > > [commit1] > > token: push grn_token_mode to grn_ctx for tokenizer > > > https://github.com/naoa/groonga/commit/7fc86773660c2ee72c3efd44388e84d2f25c7e1e > > grn_tokenizer_query_open()も変更してgrn_tokenizer_queryにも設 > 定したほうがよいと思います！そうすると、トークナイザーを開発 > している人はgrn_ctx_push()で情報が渡ってくることを意識しなく > てもよくなって、考えることが減るのです。 > > > (3)さらに、POSITIONのスキップフラグも追加していただけると、トークン > > フィルターも簡単に実現できるようになって最高です。 > > （現状、トークナイザー側でトークンを飛ばそうと考えると、最後のトー > > クン以外であればトークナイザーのなかでループさせることで実現できます > > が、最後のトークンでフィルターさせるとwarningになってしまうので先読 > > みが必要かなぁとかかなりカオスだったり。。） > > > > #define GRN_TOKENIZER_TOKEN_WITH_POSITION_SKIP (0x01L<<5) > > GRN_TOKENIZER_TOKEN_SKIP_WITH_POSITIONの方がそれっぽいかなぁ > と思いました！ > > > -- > 須藤 功平 <kou****@clear*****> > 株式会社クリアコード <http://www.clear-code.com/> > > Groongaベースの全文検索システムを総合サポート: > http://groonga.org/ja/support/ > パッチ採用 - プログラミングが楽しい人向けの採用プロセス: > http://www.clear-code.com/recruitment/ > コードリーダー育成支援 - 自然とリーダブルコードを書くチームへ: > http://www.clear-code.com/services/code-reader/ > > _______________________________________________ > groonga-dev mailing list > groon****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/groonga-dev >
