KyTeaの入力・出力

KyTeaホームに戻る

KyTeaには4つの入力・出力フォーマットがあります。 学習時、解析時にフォーマットを指定できます。

フルアノテーション

従来の単語分割と同じように、単語境界を空白で示します。 読み推定を行う時に、単語の読みを「/」の後に付与します。

コーパス/こーぱす の/の 文/ぶん で/で す/す 。/。

• 学習時指定: -full corpus.txt
• 解析時指定: -out full または -in full

部分的アノテーション

部分的アノテーションでは、「単語境界あり」を表す「|」、「単語境界なし」を表す「-」、「単語境界の有無が未知」を表す「 」（空白）の３通りのタグがあります。 読み推定を行う時に、単語の読みを「/」の後に付与します。

コ-ー-パ-ス/こーぱす|の/の|文/ぶん|で/で|す/す|。/。
境-界|未 知 の 文|で す 。

• 学習時指定: -part corpus.txt
• 解析時指定: -out part または -in part

アノテーションなし

解析時の入力として、一般的にアノテーションなしの生のテキストを利用します。

コーパスの文です。

• 解析時指定: -in raw

信頼度付きアノテーション

KyTeaは信頼度を出力することができます。 SVMを用いたモデルでは、信頼度はSVM平面からのマージンを表します。 ロジスティック回帰を用いたモデルでは、信頼度は答えの確率を表します。 SVMでもロジスティック回帰でも、未知語の読みの信頼度は確率になっています。 信頼度付き出力は入力1行に付き3行を出力します。

1. 第1行:フルアノテーションとほぼ同じフォーマットになっています。 読みが複数存在する単語はすべての読みを「&」でつなげて出力します。
2. 第2行:単語分割の信頼度。 i項目は文字iと文字i+1の間の単語境界の有無に対する判断の信頼度です。 例えば、以下の例では、最初の信頼度「3.18908」は「コ」と「ー」の間の単語境界に対する信頼度です。
3. 第3行:読み推定の信頼度。 複数の読みが存在する単語では、各読みの信頼度を「&」でつなげて出力します。

コーパス/こーぱす の/の 文/ぶん&もん&ふみ で/で す/す 。/。
3.18908 1.7448 3.91682 2.57838 2.23258 1.28151 2.6298 1.98738
100 100 0.309393&-1.36203e-17&-0.348795 100 100 100

• 解析時指定: -out conf

KyTeaホームに戻る
Last Modified: 2010-5-11 by neubig