Commit: 49e6db19fe256d3f6308693d3cc1700914055b24 - star (git)

Commit MetaInfo

• Revision: 49e6db19fe256d3f6308693d3cc1700914055b24 (tree)
• Time: 2017-03-07 23:28:54
• Author: dhrname <dhrname@user...>
• Commiter: dhrname

Log Message

Modify the hiragana2token function

Change Summary

• modified: source_code/shadowstar.c
• modified: source_code/shadowstar.h
• modified: source_code/startest.c

Incremental Difference

--- a/source_code/shadowstar.c
+++ b/source_code/shadowstar.c
@@ -92,24 +92,37 @@ ST_UTF8_Char_Code ST_Hiragana_Code = {
      u8"っ", u8"ゃ", u8"ゅ", u8"ょ",
      u8"ぱ", u8"ぴ", u8"ぷ", u8"ぺ", u8"ぽ",
      u8"ゐ", u8"ゑ", u8"ゔ", u8"ゕ", u8"ゖ",
-     u8"゛", u8"゜", u8"ゝ", u8"ゞ"
+     u8"゛", u8"゜", u8"ゝ", u8"ゞ",
+     u8"、", u8"。"
     },
-    89
+    91
 };
 
 /*hiragana2token 関数
- * ひらがなをトークン化する。
+ * ひらがなや句読点をトークン化して、スキップする。
  * posはtextの現在位置。listposはarrayの現在位置*/
-static inline uint_fast32_t hiragana2token(ST_Text_Code tc, uint_fast32_t listpos)
+static inline uint_fast32_t hiragana2token(ST_Text_Code tc, uint_fast32_t listpos, size_t length)
 {
         uint_fast32_t local_length = 0;
         uint_fast32_t cache = 0;
-        for (uint_fast16_t i = 0; i < ST_Hiragana_Code.length; i++)
+        /*resultは文字列が一致したかどうかのチェック。0ならば、不一致。それ以外の数値は一致したとみなす*/
+        size_t result = 0;
+        while (local_length <= length)
         {
+            result = 0;
             cache = tc.pos;
             tc.pos += local_length;
-            local_length += text2token(ST_HIRAGANA_TOKEN, tc, listpos, ST_Hiragana_Code.map[i], ST_Hiragana_Code.cache_length[i]);
+            for (uint_fast16_t i = 0; i < ST_Hiragana_Code.length; i++)
+            {
+                result += text2token(ST_FUNCTION_APPLY_TOKEN, tc, listpos, ST_Hiragana_Code.map[i], ST_Hiragana_Code.cache_length[i]);
+            }
+            local_length += result;
             tc.pos = cache;
+            if (!result)
+            {
+                /*一致する文字列がなくなるまで続ける*/
+                return local_length;
+            }
         }
         return local_length;
 }
@@ -148,13 +161,18 @@ uint16_t *ST_tokenize(const int_least8_t *text, ST_Token_Mode *array)
     ST_Text_Code tc = {text, array, pos};
     for (uint_fast32_t i = 0; i < length; i++)
     {
-        /*文字がマッチングした分だけ、posメンバが増える*/
+        /*文字がマッチングした分だけ、textの現在位置を示すposメンバが増える*/
         tc.pos += text2token(ST_KAGIKAKKO_BEGIN_TOKEN, tc, i, u8"「", strlength[0])
             + text2token(ST_KAGIKAKKO_END_TOKEN, tc, i, u8"」", strlength[1])
             + text2token(ST_PARENTHESES_BEGIN_TOKEN, tc, i, u8"（", strlength[2])
             + text2token(ST_PARENTHESES_END_TOKEN, tc, i, u8"）", strlength[3])
-            + hiragana2token(tc, i)
+            + hiragana2token(tc, i, length)
             + text2token(ST_VARIABLE_TOKEN, tc, i, u8"愛", strlen(u8"愛"));
+        if (tc.pos >= length)
+        {
+            /*現在位置がテキストの容量を超えた場合*/
+            return array;
+        }
     }
     return array;
 }

--- a/source_code/shadowstar.h
+++ b/source_code/shadowstar.h
@@ -55,7 +55,7 @@ void eprint_log (uint8_t*);
 /*トークン化したときの識別用のマジックナンバー*/
 typedef enum {
   ST_UNKNOWN_TOKEN = 0,
-  ST_HIRAGANA_TOKEN,
+  ST_FUNCTION_APPLY_TOKEN,
   ST_VARIABLE_TOKEN,
   ST_PARENTHESES_BEGIN_TOKEN,
   ST_PARENTHESES_END_TOKEN,
@@ -67,7 +67,7 @@ typedef enum {
  * 文字列をトークン化処理して、入力した配列にトークン番号を割り当てる。入力値はトークン化したい文章と配列*/
 uint16_t* ST_tokenize(const int_least8_t*, ST_Token_Mode*);
 
-#define ST_CHAR_CODE_MAP_MAX 90
+#define ST_CHAR_CODE_MAP_MAX 92
 
 /*UTF8用のマップ
  * このマップをもとに、文字列のパターンを照合する*/

--- a/source_code/startest.c
+++ b/source_code/startest.c
@@ -121,11 +121,25 @@ int main(int argc, char **argv)
     tokens1[3] = 0;
     ST_tokenize(u8"ああああ", tokens1);
     assert(tokens1[0] == 1);
-    assert(tokens1[1] == 1);
-    assert(tokens1[2] == 1);
-    assert(tokens1[3] == 1);
+    assert(tokens1[1] == 0);
+    assert(tokens1[2] == 0);
+    assert(tokens1[3] == 0);
+    init_token(tokens1);
+    tokens1[3] = 0;
+    ST_tokenize(u8"、。。、", tokens1);
+    assert(tokens1[0] == 1);
+    assert(tokens1[1] == 0);
+    assert(tokens1[2] == 0);
+    assert(tokens1[3] == 0);
+    init_token(tokens1);
+    tokens1[3] = 0;
+    ST_tokenize(u8"、あ。愛", tokens1);
+    assert(tokens1[0] == 1);
+    assert(tokens1[1] == 2);
+    assert(tokens1[2] == 0);
+    assert(tokens1[3] == 0);
     
-    ST_Token_Mode tokenmode = ST_HIRAGANA_TOKEN;
+    ST_Token_Mode tokenmode = ST_FUNCTION_APPLY_TOKEN;
     assert(tokenmode == 1);
     tokenmode = ST_UNKNOWN_TOKEN;
     assert(tokenmode == 0);