NAIST-jdic Wiki

NAIST-jdic とは

NAIST-jdic は、IPAdic の後継です。 IPAdic の固有名詞以外の全エントリをチェック（可能性に基づく品詞の整理）し、 表記ゆれ情報を付与し、複合語の構造を付与する作業を行っています。 固有名詞については不要な語、新規追加などの整理を随時行っていきます。 この作業により IPAdic のライセンスで問題となっていた ICOT 条項を削除し、 広告条項無しの BSD ライセンスに変更致しました。

可能性に基づく品詞の整理

NAIST-jdic は IPAdic における「可能性に基づく品詞の整理」を行ったものを公開しています。Seed 辞書に対するエントリの整理を行いましたが、これに伴うコーパスの修正が追いついていないため、IPAdic 時代の辞書より見かけの精度は悪くなっています。尚、「可能性に基づく品詞の整理」は以下の作業を意味します。

• 「名詞-一般」 と 「名詞-サ変接続」 の両方に登録されている場合、意味が多義でなければ 「名詞-サ変接続」 のみに変更
• 「副詞-助詞類接続」の廃止
• 「名詞-一般」 と 「名詞-サ変接続」 と 「副詞-一般」 と 「名詞-副詞可能」 のうち、名詞系と副詞系の両方に登録されている場合、意味が多義でなければ 「名詞-副詞可能」 に変更
• 「名詞-一般」 と 「名詞-サ変接続」 と 「副詞-一般」 と 「名詞-副詞可能」 と 「名詞-形容動詞語幹」 のうち、「名詞 or 副詞系」と「形容動詞語幹系」の両方に登録されている場合、意味が多義でなければ 名詞-形容動詞語幹 に変更
• 「副詞-一般」 と 「名詞-副詞可能」 の 2 つに登録されている場合、意味が多義でなければ 名詞-副詞可能 に変更
• 「動詞-非自立」の廃止

TODO

• 表記ゆれ情報を含む辞書の公開 (ChaSen の場合には「意味情報」に情報を付与します。MeCab については現在検討中です。)
• 複合語情報を含む辞書の公開 (ChaSen の場合には複合語機能があるためにそのまま登録が可能です。MeCab については現在検討中です。)
• 固有名詞辞書の整理 (平成の大合併に伴う地名の整理など)

各公開版の精度

以下に示す数値は手元のコーパスを訓練 4 : テスト 1 に分割して評価したものです。配布している辞書はコーパス全体で訓練したものです。

NAIST-jdic (for mecab) -- mecab-naist-jdic

• mecab-naist-jdic-0.2.0-20080309-preview3 (2008/03/07)

  LEVEL (ALL)
  RECALL  0.971013019258657
  PREC    0.971985644651561
  LEVEL 3 (Word/POS/Ctype/Cform/Base)
  RECALL  0.973972184913071
  PREC    0.974947774385345
  LEVEL 2 (Word/POS)
  RECALL  0.974555456262675
  PREC    0.975531629974825
  LEVEL 1 (Word/C-POS)
  RECALL  0.986145967668573
  PREC    0.987133751138251
  LEVEL 0 (SEG)
  RECALL  0.991411463154909
  PREC    0.992404520863464
  

• mecab-naist-jdic-0.3.0-20080309-preview2 (2008/03/06)

   LEVEL (ALL)
   RECALL  0.971232414903921
   PREC    0.972174015511848
   LEVEL 3 (Word/POS/Ctype/Cform/Base)
   RECALL  0.974154122765241
   PREC    0.975098555941209
   LEVEL 2 (Word/POS)
   RECALL  0.974737394114846
   PREC    0.975682392766851
   LEVEL 1 (Word/C-POS)
   RECALL  0.98610850987548
   PREC    0.987064532716287
   LEVEL 0 (SEG)
   RECALL  0.991363303135217
   PREC    0.992324420448215
  

NAIST-jdic (for ChaSen)

• NAIST-jdic-0.3.0-preview1 (2008/03/08)

  LEVEL (ALL)
  RECALL  0.927251614698438
  PREC    0.928419112525584
  LEVEL 3 (Word/POS/Ctype/Cform/Base)
  RECALL  0.970344130096267
  PREC    0.971565885492011
  LEVEL 2 (Word/POS)
  RECALL  0.970670548007513
  PREC    0.971892714394402
  LEVEL 1 (Word/C-POS)
  RECALL  0.983475762132312
  PREC    0.984714051499662
  LEVEL 0 (SEG)
  RECALL  0.988966004377211
  PREC    0.990211206480856