荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp The batch-type neural test model : A latent rank model with the mechanism of generative topographic mapping 荘島宏二郎.

Slides:



Advertisements
Similar presentations
Maxent model への挑戦 - 驚きとドキドキ感の理論 - 大野ゆかり Phillips et al. (2006) Maximum entropy modeling of species geographic distributions. Ecological Modeling 190:
Advertisements

ベイズの定理と ベイズ統計学 東京工業大学大学院 社会理工学研究科 前川眞一. 2 Coffe or Tea 珈琲と紅茶のどちらが好きかと聞いた場合、 Star Trek のファンの 60% が紅茶を好む。 Star Wars のファンの 95% が珈琲を好む。 ある人が紅茶を好むと分かったとき、その人が.
第 5 章 2 次元モデル Chapter 5 2-dimensional model. Contents 1.2 次元モデル 2-dimensional model 2. 弱形式 Weak form 3.FEM 近似 FEM approximation 4. まとめ Summary.
1 項目反応理論によるテストの作成 東京工業大学 大学院社会理工学研究科 前川 眞一.
VE 01 え form What is え form? え? You can do that many things with え form?
グラフィカル多変量解析 ----目で見る共分散構造分析----
白井ゼミ 豊田秀樹(2008)『データマイニング入門』 (東京図書)。4章
因子分析,共分散構造分析 Factor Analysis Structural Equations Model
THE CONTINUOUS IMPROVEMENT MODEL called ADEC
日本語... ジェパディー! This is a template for you to use in your classroom.
相関係数 植物生態学研究室木村 一也.
2010年7月9日 統計数理研究所 オープンハウス 確率モデル推定パラメータ値を用いた市場木材価格の期間構造変化の探求 Searching for Structural Change in Market-Based Log Price with Regard to the Estimated Parameters.
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
潜在ランク理論に基づく コンピュータアダプティブテスト
What did you do, mate? Plain-Past
第6章 2つの平均値を比較する 2つの平均値を比較する方法の説明    独立な2群の平均値差の検定   対応のある2群の平均値差の検定.
Object Group ANalizer Graduate School of Information Science and Technology, Osaka University OGAN visualizes representative interactions between a pair.
Paper from PVLDB vol.7 (To appear in VLDB 2014)
There are 5 wearing verbs in Japanese depending on the part of body or the item being worn.
SP0 check.
How do you talk about Positions/ Locations?
ニューラルテスト理論を利用した 教科テストの Can-do table 作成
Licensing information
CRLA Project Assisting the Project of
P4-21 ネットワーク上の経路に対する 回帰問題について
第4日目第3時限の学習目標 検査の信頼性(続き)を学ぶ。 妥当性について学ぶ。 (1)構成概念妥当性とは? (2)内容妥当性とは?
点素パス問題に対するアルゴリズム 小林 佑輔 東京大学 大学院情報理工学系研究科 組合せ最適化セミナー 2012 年 7月 13日
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
Photometric properties of Lyα emitters at z = 4
Traits 形質.
Online Decoding of Markov Models under Latency Constraints
情報源:MARA/ARMA 加 工:成田空港検疫所 菊池
訓練データとテストデータが 異なる分布に従う場合の学習
指標の数と信頼性・ 内容的妥当性 指標の数は多いほうがよい.
確率的情報処理と確率伝搬法によるアルゴリズム設計の数理構造
Where is Wumpus Propositional logic (cont…) Reasoning where is wumpus
大規模なこと Large scale.
逐次プログラムの正当性(2) 帰納的アサーション法(フロイド法)
Michael Jeffrey Jordan
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
クイズやゲーム形式で紹介した実例です。いずれも過去のインターン作です。
2019年4月8日星期一 I. EPL 84, (2008) 2019年4月8日星期一.
Data Clustering: A Review
再討論 狩野裕 (大阪大学人間科学部).
プログラミングコンテストシステムへの 提出履歴データとその分析
22 物理パラメータに陽に依存する補償器を用いた低剛性二慣性系の速度制御実験 高山誠 指導教員 小林泰秀
シミュレーション演習 狙い 初日 イントロ 2日目 プローブと信号 3日目 実験結果からの数理モデル作成
2019/4/22 Warm-up ※Warm-up 1~3には、小学校外国語活動「アルファベットを探そう」(H26年度、神埼小学校におけるSTの授業実践)で、5年生が撮影した写真を使用しています(授業者より使用許諾済)。
Number of random matrices
Good morning distinguished guests, ladies and gentlemen
Genetic Statistics Lectures (4) Evaluation of a region with SNPs
自己組織化マップ Self-Organizing Map SOM
確率的画像処理アルゴリズム入門 東北大学 大学院情報科学研究科 田中 和之
ー生命倫理の授業を通して生徒の意識に何が生じたかー
Created by L. Whittingham
東北大 情報科学 田中和之,吉池紀子 山口大 工 庄野逸 理化学研究所 岡田真人
疫学概論 頻度と分布 Lesson 9. 頻度と分布 §A. 頻度または度数 S.Harano,MD,PhD,MPH.
The Facilitative Cues in Learning Complex Recursive Structures
ニューラルテスト理論分析ソフト「neutet」の特徴と使い方
人工知能特論II 第8回 二宮 崇.
非等方格子上での クォーク作用の非摂動繰り込み
せつぞくし 接続詞 Conjunctions.
LRTモデルに基づくCATの開発と シミュレーションによる特性解析
荘島宏二郎 大学入試センター研究開発部 ニューラルテスト理論 荘島宏二郎 大学入試センター研究開発部
自己縮小画像と混合ガウス分布モデルを用いた超解像
~国際比較にみる達成目標と評価のガイドライン~
ガウシアングラフィカルモデルにおける一般化された確率伝搬法
アノテーションガイドラインの管理を行う アノテーションシステムの提案
ニューラルテスト理論: 資格試験のためのテスト理論
Presentation transcript:

荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp The batch-type neural test model : A latent rank model with the mechanism of generative topographic mapping 荘島宏二郎 大学入試センター研究開発部 shojima@rd.dnc.ac.jp

ニューラルテスト理論 (neural test theory, NTT) Shojima (2008) IMPS2007 CV, in press. 自己組織化マップ(SOM; Kohonen, 1995)のメカニズムを利用したテスト理論 尺度化 潜在尺度が順序尺度 潜在ランク ランク数は3~20 項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 等化 共時等化法(concurrent calibration)

なぜ順序尺度? 2つの主な理由 方法論的理由 教育社会学的理由

方法論的理由 心理変数は連続である可能性 心理変数を連続尺度上で測定する道具は高解像度ではない 推論,読解力,能力・・・ 不安,うつ,劣等感・・・ 心理変数を連続尺度上で測定する道具は高解像度ではない テスト 心理質問紙 社会調査票

体重と体重計 現象(連続) 測定(高解像度) 3 4 1 2 Weight

能力とテスト 現象(連続?) 測定(低信頼性・低解像度) 4 3 2 1 Ability

解像度(Resolution) 2つ以上のモノの差異を検出する力 体重計 テスト ほとんど同じ体重をもつ2人の違いを見抜くことが可能 ほぼ間違いなくキログラム尺度上で人々を並び替えることが可能 テスト 大体同じ能力を持つ2人の違いを見抜くことができない 人々を正確に並び替えることが不可能 テストは,受検者をいくつかのレベルに段階付けるくらいがせいぜい

教育社会学的理由 連続尺度の負の側面 順序尺度の正の側面 生徒たちは,日々,一点でも高い得点をとるよう動機付けられている 不安定な連続尺度の乱高下に一喜一憂させるべきではない 順序尺度の正の側面 段階評価は,連続尺度上での評価よりも頑健 継続して努力しないと上位ランクに進めない

NTT 潜在ランク理論 SOM GTM Binary RN08-02 RN07-03 RN07-21 Continuous Shojima (in press) RN08-02 Polytomous (ordinal) RN07-03 In preparation (nominal) RN07-21 Continuous NTT ML (RN07-04) Fitness (RN07-05) Missing (RN07-06) Equating (RN07-9) Bayes (RN07-15)

NTTにおける統計的学習 ・For (t=1; t ≤ T; t = t + 1) ・U(t)←Randomly sort row vectors of U   ・For (h=1; h ≤ N; h = h + 1)   ・Obtain zh(t) from uh(t)   ・Select winner rank for uh(t)   ・Obtain V(t,h) by updating V(t,h−1) ・V(t,N)←V(t+1,0) Point 1 Point 2 Slide 10 This is the framework for estimating the NTT model. Skipping the details, there are two main procedures: selecting the winner rank (point 1) and updating the reference matrix (point 2). 10 10

NTTのメカニズム Latent rank scale Number of items Response Point 2 Point 1 1 1 Number of items Slide 11 The NTT mechanism is graphically explained in this slide. To begin with, a one-dimensional lattice or chain is prepared. This is the latent rank scale of the NTT. In the figure, the number of latent ranks is seven. Each latent rank has its own reference vector whose size is equal to the number of items. Each element is a number from 0 to 1. This matrix composed of the number of items times the number of latent ranks elements is the rank reference matrix. If this data vector is input, the rank whose vector is closest to the input data is the winner rank. This process is Point 1. Then, the reference vector of the winner rank is changed so that it becomes closer to the input data. In addition, the reference vectors of neighboring ranks are updated according to their geographic closeness to the winner. This process is Point 2. Statistical learning continues repeatedly in this manner. Latent rank scale 11 11

Point 1: 勝者ランク選択 The least squares method is also available. Likelihood ML Bayes Slide 12 Mathematically, the winner rank is determined by distance based on likelihood. The maximum likelihood method or Bayesian method is useful for determining the winner rank. The least squares method is also available. 12 12

Point 2: ランク参照行列の更新 The nodes of the ranks nearer to the winner are updated to become closer to the input data h: tension α: size of tension σ: region size of learning propagation Slide 13 Then, this is the method for updating the reference matrix. It is very simple. My colleague developed software for the NTT in one day. 13 13

分析例 地理テスト N 5000 n 35 Median 17 Max Min 2 Range 33 Mean 16.911 Sd 4.976 Skew 0.313 Kurt -0.074 Alpha 0.704

項目参照プロファイルの例 単純増加制約を課すことも可能

IRP指標 (1) 項目困難度 Beta B Rank stepping over 0.5 Its value 熊谷 (2007) Slide 18 Professor Kumagai proposed some IRP indices. Skipping the details, this index is the item difficulty. 熊谷 (2007)

IRP指標 (2) 項目識別度 Alpha Smaller rank of the neighboring pair with the biggest change A Its value Slide 19 This is the item discriminancy.

IRP指標 (3) 項目単調度 Gamma Proportion of neighboring pairs with negative changes. C Their sum Slide 20 And this is the item monotonicity.

項目参照プロファイルの推定値 IRP指標 ・・・ ITEM R1 R2 R3 R8 R9 R10 A α B β C γ 1 0.262 0.257 0.255 0.416 0.460 0.497 0.044 8 10 -0.007 0.222 2 0.271 0.240 0.319 0.320 0.317 0.025 5 -0.033 0.333 3 0.597 0.624 0.669 0.856 0.867 0.880 0.057 4 0.000 0.210 0.204 0.202 0.539 0.592 0.084 7 9 -0.009 0.227 0.219 0.214 0.390 0.445 0.071 -0.013 6 0.747 0.784 0.836 0.914 0.921 0.928 0.052 0.111 0.352 0.326 0.296 0.439 0.440 0.436 0.051 -0.066 0.444 0.229 0.234 0.238 0.490 0.593 0.667 0.104 0.491 0.562 0.778 0.802 0.816 0.287 0.254 0.548 0.648 0.719 0.112 -0.094 32 0.189 0.170 0.157 0.302 0.332 0.360 0.042 -0.032 33 0.168 0.188 0.221 0.376 0.414 34 0.407 0.413 0.424 0.566 0.585 0.036 0.535 35 0.481 0.522 0.569 0.765 0.794

Can-Do Table (例) 到達度確認表 Ability category and item content IRP estimates IRP indices

テスト参照プロファイル (test reference profile, TRP) IRPの重み付き和 各潜在ランクの期待値 弱順序配置条件(Weakly ordinal alignment condition) TRPが単調増加だけど,全てのIRPが単調であるわけではない 強順序配置条件(Strongly ordinal alignment condition) 全てのIRPが単調増加  TRPも単調増加 潜在尺度が順序尺度であるためには,少なくともWOACを満たす必要

適合度指標 ML, Q=10 ML, Q=5 潜在ランク数を決定するのに便利

潜在ランクの推定 Likelihood ML Bayes

潜在ランク分布 (latent rank distribution, LRD) いつも必ず平坦ではない 反応パタンの類似性によってランク分けされる

層別化LRD LRD stratified by sex LRD stratified by establishment

潜在ランクと得点の関係 NTT尺度の妥当性を傍証 R-S散布図 R-Q散布図 Spearman’s R=0.929

ランク・メンバーシップ・プロファイル (rank membership profile, RMP) 各受検者がどの潜在ランクに所属するかについての事後分布 RMP Slide 29 Rank membership profile is the posterior distribution of latent rank, and it is useful for reviewing the probabilities that each examinee belongs to the respective latent ranks.

RMPの例

拡張モデル Graded Neural Test Model (RN07-03) NTT model for ordinal polytomous data Nominal Neural Test Model (RN07-21) NTT model for nominal polytomous data Batch-type NTT Model (RN08-03) Continuous Neural Test Model Multidimensional Neural Test Model

ウェブサイト ソフトウェア http://www.rd.dnc.ac.jp/~shojima/ntt/index.htm EasyNTT 開発者:熊谷先生(新潟大学) Neutet 開発者:橋本先生(大学入試センター)

本研究内容 自己組織化マップのメカニズムを利用すると毎回の計算ごとに少しずつIRPの推定値が異なる データの学習順序をランダムにしているため αTというパラメタを小さくして,学習回数Tを大きくすれば改善できる そもそも統計的性質は普遍ではない でも推定値が違うのは気持ち悪いという人はいるだろう

目的 生成トポグラフィックマッピングのメカニズムを利用したNTTモデルを提案 Generative Topographic Mapping (GTM) Bishop, Svensen, & Williams (1998) バッチ型(一括学習型)SOMといわれるニューラルネットワークモデル EMアルゴリズムを用いる 本研究では平滑化も追加

バッチ型NTTモデルの学習 Obtain Z from U Define V(0) For (t=1; t<=T; t=t+1) --- Obtain F(t) by using U and V(t-1) --- Obtain E(t) by using F(t) --- Obtain V(t) by using E(t) EMアルゴリズム 平滑化

Obtain F(t) by using U and V(t-1) Obtain E(t) by using F(t) Obtain V(t) by using E(t)

結果 得られるIRPやRMPにほとんど差がない 計算時間が圧倒的に早い 計算結果がいつも同じ 近年は大したメリットでない 計算結果がいつも同じ SOMのメカニズムを用いたほうが今後のモデルとしての広がりがある

今後(来週の行動計量学会) Neural Test Theory 実は,1因子の因子分析みたいなもの 観測変数がカテゴリ変数 潜在変数が順序尺度

今後(来週の行動計量学会) Structural Neurofield Mapping NTTをSEMっぽく拡張することができる