susumu.yata
null+****@clear*****
Mon Oct 5 16:10:27 JST 2015
susumu.yata 2015-10-05 16:10:27 +0900 (Mon, 05 Oct 2015) New Revision: 11e7bf39aad2fa7a1d7c8b756b34dd1d0c94cdb7 https://github.com/groonga/groonga/commit/11e7bf39aad2fa7a1d7c8b756b34dd1d0c94cdb7 Message: grn_ts: log tokens GitHub: #412 Modified files: lib/ts.c Modified: lib/ts.c (+7 -0) =================================================================== --- lib/ts.c 2015-10-05 15:48:30 +0900 (8f81bd1) +++ lib/ts.c 2015-10-05 16:10:27 +0900 (35725e7) @@ -5149,6 +5149,7 @@ grn_ts_expr_parser_tokenize(grn_ctx *ctx, grn_ts_expr_parser *parser, grn_ts_str rest = str; const char *end = str.ptr + str.size; grn_ts_expr_token *token = NULL; + GRN_TS_DEBUG("str = \"%.*s\"", (int)str.size, str.ptr); do { grn_rc rc = grn_ts_expr_parser_reserve_tokens(ctx, parser); if (rc != GRN_SUCCESS) { @@ -5158,6 +5159,10 @@ grn_ts_expr_parser_tokenize(grn_ctx *ctx, grn_ts_expr_parser *parser, if (rc != GRN_SUCCESS) { return rc; } + if ((token->type != GRN_TS_EXPR_START_TOKEN) && + (token->type != GRN_TS_EXPR_END_TOKEN)) { + GRN_TS_DEBUG("token = \"%.*s\"", (int)token->src.size, token->src.ptr); + } parser->tokens[parser->n_tokens++] = token; rest.ptr = token->src.ptr + token->src.size; rest.size = end - rest.ptr; @@ -5260,6 +5265,7 @@ grn_ts_expr_parser_apply(grn_ctx *ctx, grn_ts_expr_parser *parser, /* Replace the operator and argument tokens with a dummy token. */ dummy_token = &parser->dummy_tokens[parser->n_dummy_tokens++]; + GRN_TS_DEBUG("dummy token: \"%.*s\"", (int)src.size, src.ptr); grn_ts_expr_dummy_token_init(ctx, dummy_token, src); depth -= n_args + 1; stack[depth++] = dummy_token; @@ -5345,6 +5351,7 @@ grn_ts_expr_parser_analyze_bracket(grn_ctx *ctx, grn_ts_expr_parser *parser, src.ptr = ex_ex_token->src.ptr; src.size = (token->src.ptr + token->src.size) - src.ptr; dummy_token = &parser->dummy_tokens[parser->n_dummy_tokens++]; + GRN_TS_DEBUG("dummy token: \"%.*s\"", (int)src.size, src.ptr); grn_ts_expr_dummy_token_init(ctx, dummy_token, src); parser->stack[depth - 2] = dummy_token; parser->stack_depth--; -------------- next part -------------- HTML����������������������������...Download