1 再帰型神経回路網による 単語クラスタリングに関する研 究 兵藤 大輔 ２００２ / ２ / １８ 北陸先端科学技術大学院大学 知識科学研究科 知識システム構築論講 座

2 本発表の流れ 1. 研究背景（ Elman[1990]) 2. 問題提起と目的提示 3. 実験手法 4. 実験、結果 5. まとめ

3 see move smell sleep exit think break chase like eat smash dog cat mouse dragon lion monster man girl woman boy plate glass bread cookie sandwich rock book car 自動詞 自／他動詞 他動詞 生物 動物 人 無生物 食物 こわれる物 Elman[1990] の単語クラスタ

4 SRN （ Simple Recurrent Neural Network ) Output Units Hidden Units Context UnitsInput Units weight ステップ前の隠れ層の状態を文脈層に保持し、 時系列処理を可能にする

5 Elman[1990] の語系列予測課題 文の中の次に続く単語の予測 課題 教師信号は次に入力する単語 （例） “dog” “chase” “cat” 入力 “dog” ・・・・出力 “chase” 入力 “chase” ・・・・出力 “cat”

6 SRN に語系列予測課題を与え、隠れ層 の 活性化パターンによる単語の階層的クラスタを 構築した上で、意味の近さの階層構造ができた と主張 見かけ上構文情報のみの例文から、 単語の意味のようなものを SRN が獲得した [Elman,1990] Elman の単語クラスタリング

7 しかし・・・・本当に “ 意味 ” を学習し たの？ 隠れ層状態は単に前の単語（文脈層）情報 を反映している “ だけ ” とも考えられる – 反映しているのは事実（ ○ ） – 意味的特徴の学習（？） 意味的な概念は獲得していない？ – 学習によるものと、文脈情報を直接使っている ものとの、切り分けが明らかになっていない 目的 Elman の主張 [1990] の妥当性を検証す る

8 定義 意味的・・・人・動物・食物とするよ うな範疇 文法的・・・我々が品詞とする名詞・ 動詞のような範疇

9 Elman[1990] の検証方法 単語の並び（語系列）だけを反映するよ うな他の手法を使い、間接的に検証 RAAM （ Recursive Auto-Associative Memory) [Pollak,1990]

10 RAAM で検証する理由 問題・・・ データ幅が同一でないと、うまく階層 構造 クラスタが作れない RAAM は可変長データを同一長データとして 隠れ層の内部表現を得られる

11 Recursive Auto-Associative Memory STACK cat 出力層 入力層 隠れ層 文脈情報 本研究ではここでの重み更新な し エンコード部で作られる圧縮表現の使 用 エンコード 部 ((Nil,dog),chase)

12 (1) RAAM 隠れ層表現のクラスタリング RAAM の隠れ層表現から、 Elman の結果 と同一のクラスタができるか検証する RAAM は前の単語列を単純に反映しているので、こ の実験の評価が良ければ、 Elman の単語クラスタは 前の単語列を反映しただけ であるといえ る。

13 (2) SRN の学習の可能性 SRN の入力層と隠れ層の間（入力層 側）に、 文脈層の影響を受けない層を追加する Elman の単語クラスタの成立要因のほとんどが文脈 情報であると言えた。しかし入力層側での学習が 行われている（行われ得る）ことは否定できない。

14 文脈層と結合のない隠れ層 Output Units HiddenUnitsA Context Units Input Units weight 1.0 HiddenUnitsB Elman のクラスタが できるのなら意味的 なものを学習してい る。

15 実験手順 １. RAAM の隠れ層表現から Elman[1990] の ようなクラスタリングを行う ー文脈情報を直接使うだけで単語クラスタが できることを示す ２． SRN に文脈層と結合のない隠れ層を追加 し、学習後、その層で階層的な単語クラ スタが 得られるかを検証する －学習を行っても入力層側では単語クラスタが 構築できないことを示す

16 例文生成のための規則 NOUN-HUMman,woman NOUN-FOODcookie,sandwich VERB-TRANsee,chase VERB-EATeat CategoryExample NOUN-HUM VERB-TRAN NOUN-HUM NOUN-HUM VERB-EAT NOUN-FOOD NOUN-ANIM VERB-AGPAT NOUN-INANIM ルール （全 16 ルー ル） [Elman1990]

17 入力データ・・ Local coding (man) …00 ・・ 31bits (chase) …00 (cat) …00 例 (dog),(chase),(cat) … … ….00 (dog),(chase),(cat) (man),(break),(glass) 単純な 2 単語、 3 単語の文

18 クラスタリング 入力単語に対応する隠れ層表現で階層的な 木を作る。 １．個々の単語に対応する隠れ層表現 （全ての文脈における表現の平均）の決定 ２．それぞれの単語の表現について他の全ての 単語の表現とのユークリッド距離を測る ３．この距離を使って階層的なクラスタの木を 作る

19 追実験 平方距離 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語

20 RAAM による単語クラスタ 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

21 結果（１） 文脈情報を直接使うだけで、 Elman が示し たような単語クラスタができる RAAM の隠れ層表現から Elman の示したような 単語クラスタができた。

22 隠れ層 A の表現から Output Units HiddenUnitsA Context Units Input Units weight 1.0 Hidden Units B

23 隠れ層 A （文脈層と結合） の単語クラス タ 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

24 隠れ層 B の表現から Output Units HiddenUnitsA Context Units Input Units weight 1.0 Hidden Units B

25 文脈依存なし隠れ層 B の単語クラス タ 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

26 文脈の無い入力による 隠れ層 A の表現から Output Units HiddenUnitsA Context Units Input Units weight 1.0 Hidden Units B

27 文脈無し隠れ層 A （文脈層と結合） の単語クラ スタ 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

28 結果（２） 学習を行っても文脈情報がない入力側に は単語クラスタは構築できなかった 文脈依存の無い層では単語クラスタは 構築できなかった

29 まとめ 文脈情報を直接使うだけで構築できる – 重みの更新のない RAAM でも構築できた 学習を行っても入力層側には構築できな い – 文脈依存のない層や文脈の無い入力では構 築できなかった Elman の示した単語クラスタ は・・・・ Elman が示したクラスタは SRN が文法的・ 意味的なものを獲得したとする根拠を持た ない

30 今後の課題 文法規則のどこまでが統計的処理（文脈情 報のみ）で表現できるかを調べる。 さらに長い文において統計的処理だけで 単語クラスタを表現できるのかを調べる 文例だけから学習できる「意味」が何かを明らかにするた めに

31 END

32

33 特徴的な３つのクラスタ RAAM （ ユニット 150 ） boy,girl,man,woman, mouse,cat,dog,lion, dragon,monster book, rock, sandwich, cookie, bread, plate, glass see,break,smash, eat, chase,smell,think, sleep RAAM （ ユニット 10 ） boy,girl,man,woman, mouse,cat,dog,lion, dragon,monster book, rock, sandwich, bread, glass see,break,smash, eat, chase,smell,think, sleep, cookie, plate 隠れ層 A boy,girl,man,woman, mouse,cat,dog,lion, dragon,monster book, rock, sandwich, cookie, bread, plate, glass see,break,smash, eat, chase,smell,think, sleep 隠れ層 B ・・・特徴的なクラスタなし 入力に文脈を持たせない場合の隠れ層 A ・・・特徴的なクラスタなし

34 文例だけから学習できる「意味」が 何であるのかを明らかにする 子供は言葉の意味を事物との対応で学習 大きくなると過去学習した単語の意味の組合わ せで、具体的な言葉や抽象的な言葉を学習して いく 我々の使っている言葉の多くにもそれは言 えるのではないだろうか？ 文例だけでもある程度まではうまくいくのではな いか

35 RAAM による単語クラスタ（ ユニット 数１０ ） 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

36 学習無し SRN の単語クラスタ 平方距離 １－１０ 第１語、 第３語 １１－１７ 第３語 １８－２６ 第２語 boy girl woman cat dog man mouse see monster dragon book lion rock cookie sandwich bread plate glass break eat smash chase move think smell sleep

37 Baker のパラドックス（ 1979 ） 子供の言語獲得 – 「このような文は文法的でない」という情 報がないのに、過剰に生成される文法的で ない文をそぎ落としている。 否定証拠欠如問題、そぎ落とし問題。

38 X NIL RAAM 出力層 中間層 入力層 （ NIL,X) （ NIL,X) NIL X Y TOP STACK2 TOP STACK1 エンコー ダ デコー ダ

39 例文 dog chase cat TOP STACK2 TOP STACK1 dog NIL chase cat (NIL,dog) dog (NIL,dog) NIL chase (NIL,dog) cat ((NIL,dog),chase) chase ((NIL,dog),chase) (NIL,dog) cat ((NIL,dog),chase) (((NIL,dog),chase),cat) cat (((NIL,dog),chase),cat) ((NIL,dog),chase)

40 例文 dog chase cat TOP STACK2 TOP’ STACK1 STACK1’ dog NIL chase cat (NIL,dog) dog (NIL,dog) NIL chase (NIL,dog) cat ((NIL,dog),chase) chase ((NIL,dog),chase) (NIL,dog) cat ((NIL,dog),chase) (((NIL,dog),chase),cat) cat (((NIL,dog),chase),cat) ((NIL,dog),chase) エンコー ダ デコー ダ

41 RAAM の隠れ層表現 隠れ層ユニット数を N とすると 入力 “dog” “chase” “cat” 1.(NIL,dog) ・・・・ N 次 元ベクトル 2.((NIL,dog),chase) ・・・・ N 次元 ベクトル 3.(((NIL,dog),chase),cat) ・・・・ N 次元ベク トル データ幅をそろえることができる