荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp The batch-type neural test model : A latent rank model with the mechanism of generative topographic mapping 荘島宏二郎.

Presentation on theme: "荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp The batch-type neural test model : A latent rank model with the mechanism of generative topographic mapping 荘島宏二郎."— Presentation transcript:

1 荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp
The batch-type neural test model : A latent rank model with the mechanism of generative topographic mapping 荘島宏二郎 大学入試センター研究開発部

2 ニューラルテスト理論 (neural test theory, NTT)
Shojima (2008) IMPS2007 CV, in press. 自己組織化マップ(SOM; Kohonen, 1995)のメカニズムを利用したテスト理論 尺度化 潜在尺度が順序尺度 潜在ランク ランク数は3～20 項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 等化 共時等化法(concurrent calibration)

3 なぜ順序尺度？ ２つの主な理由 方法論的理由 教育社会学的理由

4 方法論的理由 心理変数は連続である可能性 心理変数を連続尺度上で測定する道具は高解像度ではない 推論，読解力，能力・・・
不安，うつ，劣等感・・・ 心理変数を連続尺度上で測定する道具は高解像度ではない テスト 心理質問紙 社会調査票

5 体重と体重計 現象（連続） 測定（高解像度） 3 4 1 2 Weight

6 能力とテスト 現象（連続？） 測定（低信頼性・低解像度） 4 3 2 1 Ability

7 解像度（Resolution） 2つ以上のモノの差異を検出する力 体重計 テスト
ほとんど同じ体重をもつ2人の違いを見抜くことが可能 ほぼ間違いなくキログラム尺度上で人々を並び替えることが可能 テスト 大体同じ能力を持つ2人の違いを見抜くことができない 人々を正確に並び替えることが不可能 テストは，受検者をいくつかのレベルに段階付けるくらいがせいぜい

8 教育社会学的理由 連続尺度の負の側面 順序尺度の正の側面 生徒たちは，日々，一点でも高い得点をとるよう動機付けられている
不安定な連続尺度の乱高下に一喜一憂させるべきではない 順序尺度の正の側面 段階評価は，連続尺度上での評価よりも頑健 継続して努力しないと上位ランクに進めない

9 NTT 潜在ランク理論 SOM GTM Binary RN08-02 RN07-03 RN07-21 Continuous
Shojima (in press) RN08-02 Polytomous (ordinal) RN07-03 In preparation (nominal) RN07-21 Continuous NTT ML (RN07-04) Fitness (RN07-05) Missing (RN07-06) Equating (RN07-9) Bayes (RN07-15)

10 NTTにおける統計的学習 ・For (t=1; t ≤ T; t = t + 1)
・U(t)←Randomly sort row vectors of U 　 ・For (h=1; h ≤ N; h = h + 1) 　 ・Obtain zh(t) from uh(t) 　 ・Select winner rank for uh(t) 　 ・Obtain V(t,h) by updating V(t,h−1) ・V(t,N)←V(t+1,0) Point 1 Point 2 Slide 10 This is the framework for estimating the NTT model. Skipping the details, there are two main procedures: selecting the winner rank (point 1) and updating the reference matrix (point 2). 10 10

11 NTTのメカニズム Latent rank scale Number of items Response Point 2 Point 1
1 1 Number of items Slide 11 The NTT mechanism is graphically explained in this slide. To begin with, a one-dimensional lattice or chain is prepared. This is the latent rank scale of the NTT. In the figure, the number of latent ranks is seven. Each latent rank has its own reference vector whose size is equal to the number of items. Each element is a number from 0 to 1. This matrix composed of the number of items times the number of latent ranks elements is the rank reference matrix. If this data vector is input, the rank whose vector is closest to the input data is the winner rank. This process is Point 1. Then, the reference vector of the winner rank is changed so that it becomes closer to the input data. In addition, the reference vectors of neighboring ranks are updated according to their geographic closeness to the winner. This process is Point 2. Statistical learning continues repeatedly in this manner. Latent rank scale 11 11

12 Point 1: 勝者ランク選択 The least squares method is also available.
Likelihood ML Bayes Slide 12 Mathematically, the winner rank is determined by distance based on likelihood. The maximum likelihood method or Bayesian method is useful for determining the winner rank. The least squares method is also available. 12 12

13 Point 2: ランク参照行列の更新 The nodes of the ranks nearer to the winner are updated to become closer to the input data h: tension α: size of tension σ: region size of learning propagation Slide 13 Then, this is the method for updating the reference matrix. It is very simple. My colleague developed software for the NTT in one day. 13 13

14 分析例 地理テスト N 5000 n 35 Median 17 Max Min 2 Range 33 Mean 16.911 Sd
4.976 Skew 0.313 Kurt -0.074 Alpha 0.704

15 項目参照プロファイルの例 単純増加制約を課すことも可能

16 IRP指標 (1) 項目困難度 Beta B Rank stepping over 0.5 Its value 熊谷 (2007)
Slide 18 Professor Kumagai proposed some IRP indices. Skipping the details, this index is the item difficulty. 熊谷 (2007)

17 IRP指標 (2) 項目識別度 Alpha Smaller rank of the neighboring pair with the biggest change A Its value Slide 19 This is the item discriminancy.

18 IRP指標 (3) 項目単調度 Gamma Proportion of neighboring pairs with negative changes. C Their sum Slide 20 And this is the item monotonicity.

19 項目参照プロファイルの推定値 IRP指標 ・・・ ITEM R1 R2 R3 R8 R9 R10 A α B β C γ 1 0.262
0.257 0.255 0.416 0.460 0.497 0.044 8 10 -0.007 0.222 2 0.271 0.240 0.319 0.320 0.317 0.025 5 -0.033 0.333 3 0.597 0.624 0.669 0.856 0.867 0.880 0.057 4 0.000 0.210 0.204 0.202 0.539 0.592 0.084 7 9 -0.009 0.227 0.219 0.214 0.390 0.445 0.071 -0.013 6 0.747 0.784 0.836 0.914 0.921 0.928 0.052 0.111 0.352 0.326 0.296 0.439 0.440 0.436 0.051 -0.066 0.444 0.229 0.234 0.238 0.490 0.593 0.667 0.104 0.491 0.562 0.778 0.802 0.816 0.287 0.254 0.548 0.648 0.719 0.112 -0.094 32 0.189 0.170 0.157 0.302 0.332 0.360 0.042 -0.032 33 0.168 0.188 0.221 0.376 0.414 34 0.407 0.413 0.424 0.566 0.585 0.036 0.535 35 0.481 0.522 0.569 0.765 0.794

20 Can-Do Table (例) 到達度確認表
Ability category and item content IRP estimates IRP indices

21 テスト参照プロファイル (test reference profile, TRP)
IRPの重み付き和 各潜在ランクの期待値 弱順序配置条件（Weakly ordinal alignment condition） TRPが単調増加だけど，全てのIRPが単調であるわけではない 強順序配置条件（Strongly ordinal alignment condition） 全てのIRPが単調増加  TRPも単調増加 潜在尺度が順序尺度であるためには，少なくともWOACを満たす必要

22 適合度指標 ML, Q=10 ML, Q=5 潜在ランク数を決定するのに便利

23 潜在ランクの推定 Likelihood ML Bayes

24 潜在ランク分布 (latent rank distribution, LRD)
いつも必ず平坦ではない 反応パタンの類似性によってランク分けされる

25 層別化LRD LRD stratified by sex LRD stratified by establishment

26 潜在ランクと得点の関係 NTT尺度の妥当性を傍証 R-S散布図 R-Q散布図 Spearman’s R=0.929

27 ランク・メンバーシップ・プロファイル (rank membership profile, RMP)
各受検者がどの潜在ランクに所属するかについての事後分布 RMP Slide 29 Rank membership profile is the posterior distribution of latent rank, and it is useful for reviewing the probabilities that each examinee belongs to the respective latent ranks.

28 RMPの例

29 拡張モデル Graded Neural Test Model (RN07-03)
NTT model for ordinal polytomous data Nominal Neural Test Model (RN07-21) NTT model for nominal polytomous data Batch-type NTT Model (RN08-03) Continuous Neural Test Model Multidimensional Neural Test Model

30 ウェブサイト ソフトウェア http://www.rd.dnc.ac.jp/~shojima/ntt/index.htm EasyNTT
開発者：熊谷先生（新潟大学） Neutet 開発者：橋本先生（大学入試センター）

31 本研究内容 自己組織化マップのメカニズムを利用すると毎回の計算ごとに少しずつIRPの推定値が異なる
データの学習順序をランダムにしているため αTというパラメタを小さくして，学習回数Tを大きくすれば改善できる そもそも統計的性質は普遍ではない でも推定値が違うのは気持ち悪いという人はいるだろう

32 目的 生成トポグラフィックマッピングのメカニズムを利用したNTTモデルを提案
Generative Topographic Mapping (GTM) Bishop, Svensen, & Williams (1998) バッチ型（一括学習型）SOMといわれるニューラルネットワークモデル EMアルゴリズムを用いる 本研究では平滑化も追加

33 バッチ型NTTモデルの学習 Obtain Z from U Define V(0) For (t=1; t<=T; t=t+1)
--- Obtain F(t) by using U and V(t-1) --- Obtain E(t) by using F(t) --- Obtain V(t) by using E(t) EMアルゴリズム 平滑化

34 Obtain F(t) by using U and V(t-1)
Obtain E(t) by using F(t) Obtain V(t) by using E(t)

35 結果 得られるIRPやRMPにほとんど差がない 計算時間が圧倒的に早い 計算結果がいつも同じ
近年は大したメリットでない 計算結果がいつも同じ SOMのメカニズムを用いたほうが今後のモデルとしての広がりがある

36 今後（来週の行動計量学会） Neural Test Theory 実は，1因子の因子分析みたいなもの 観測変数がカテゴリ変数
潜在変数が順序尺度

37 今後（来週の行動計量学会） Structural Neurofield Mapping NTTをSEMっぽく拡張することができる