ニューラルテスト理論分析ソフト「neutet」の特徴と使い方

Presentation on theme: "ニューラルテスト理論分析ソフト「neutet」の特徴と使い方"— Presentation transcript:

1 ニューラルテスト理論分析ソフト「neutet」の特徴と使い方
2007年11月21日 大学入試センター 研究開発部 橋本 貴充

2 本発表の構成 neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要 デモンストレーション
データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

3 neutetとは neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要
デモンストレーション 必要なファイル データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

4 neutetの概要 名前の由来 neutetの目的 まずは見てください！ Neural Test Theoryの分析用ソフトウェアだから。
どなたか、もっとセンスの良い名前をつけてください(^_^;)。 neutetの目的 正誤データを読み込み、ニューラルテスト理論の項目参照プロファイルを出力する。 まずは見てください！

5 必要なファイル neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要
デモンストレーション 必要なファイル データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

6 データファイル 正答を1、誤答を0、欠損を.で表し、それらを隙間なく並べる。 1つの行は1人の被験者。 1つの列は1つの項目。

7 データファイルの例 受験番号 問1 問2 問3 問4 0001 ○ × 0002 0003 0004 0005 1000 1011 11.. 1101

8 設定ファイル 「変数 = 値」の形で1行ずつ記入。 #, %, * より後はコメントとして無視。
セミコロンはつけない。 変数名は小文字。 #, %, * より後はコメントとして無視。 最低限必要な変数はinfileとoutfile。 infileは読み込むデータファイル名。 outfileは項目参照プロファイルを出力するファイル名。指定しなくてもよいが、その場合、標準出力になる。

9 設定ファイルの例 infile = data.dat outfile = result.csv

10 設定ファイルの書き方 neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要
デモンストレーション 必要なファイル データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

11 出力ファイル outfile rankfile rmpfile dlm 項目参照プロファイル 行は項目、列は潜在ランク。
1行目はラベル、1列目は項目番号。 rankfile 受験者の潜在ランク 各行に各受験者のデータ。 受験者IDを指定した場合はIDも出力。 rmpfile ランク・メンバーシップ・プロファイル 行は受験者、列は潜在ランク。 受験者IDを指定した場合はIDも出力。 dlm ファイルの区切り文字 commaならカンマ区切り、tabならタブ区切り。

12 データ idbegin idlength databegin nitems 受験者IDの開始カラム 指定が無い場合、受験者ID無し。
データの開始カラム 指定が無い場合、IDの次のカラム。 nitems 項目数 指定が無い場合、行末まで。

13 計算パラメタ (1) nranks maxiter increase 潜在ランク数 指定が無い場合は10。 計算の反復回数
指定がない場合は100。 increase 項目参照プロファイルの単調増加制約 trueなら反復中に各項目においてIRPの値を昇順にソートする。falseなら何もしない。 指定がない場合はfalse。

14 計算パラメタ (2) method seed 勝者ノードの決定方法 ed2ならユークリッド距離の2乗、mlなら最尤法。
データの各行を無作為に並べ替えるときの、乱数の種。整数である必要がある。 指定がなければ現在時刻から乱数の種を生成。その場合、最低でも1秒の間隔が必要（だけど、1秒以内には絶対終らない^_^;）。

15 グラフの作成方法 neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要
デモンストレーション 必要なファイル データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

16 Neural Test TheoryのWebサイトで紹介されているグラフ
項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 潜在ランク分布 ランク・メンバーシップ分布 観測率プロファイル

17 直接作れるもの 項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 潜在ランク分布
ランク・メンバーシップ分布 観測率プロファイル outfile rmpfile worpfile, uorpfile

18 項目参照プロファイルを加工 項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 潜在ランク分布
ランク・メンバーシップ分布 観測率プロファイル そのまま SUM関数で縦に合計

19 潜在ランクを加工 項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 潜在ランク分布
ランク・メンバーシップ分布 観測率プロファイル FREQUENCY関数で度数を合計

20 ランク・メンバーシップ・プロファイルを加工
項目参照プロファイル テスト参照プロファイル ランク・メンバーシップ・プロファイル 潜在ランク分布 ランク・メンバーシップ分布 観測率プロファイル そのまま AVERAGE関数で縦に平均

21 今後の課題 neutetとは 必要なファイル 設定ファイルの書き方 グラフの作成方法 今後の課題 neutetの概要 デモンストレーション
データファイル 設定ファイル 設定ファイルの書き方 出力ファイル データ 計算パラメタ グラフの作成方法 今後の課題 荘島先生の論文でneutetで可能なものと、できないもの 熊谷先生のEasyNTTとの比較 今後の予定

22 Neural Test TheoryのWebサイトで発表済みの荘島先生の論文
ニューラルテスト理論 段階ニューラルテストモデル 潜在ランクの最尤推定 欠損データがあるときの推定 テスト等化 EMアルゴリズムを用いた周辺最尤法による項目参照プロファイル推定 潜在ランクのベイズ推定

23 neutetを使って分析可能なもの と、今はまだ無理なもの
ニューラルテスト理論 段階ニューラルテストモデル 潜在ランクの最尤推定 欠損データがあるときの推定 テスト等化 EMアルゴリズムを用いた周辺最尤法による項目参照プロファイル推定 潜在ランクのベイズ推定

24 EasyNTTとの比較 熊谷龍一先生（新潟大学）作成のソフトウェア。 共通点 相違点 データは正誤2値（誤答=0, 正答=1）。
項目反応プロファイルおよび受験者の潜在ランクを出力。 反復回数、潜在ランク数、α1、σ1、IRPの単調増加制約を指定可能。 相違点 EasyNTTは非連続的な位置に書かれた項目の分析が可能。テスト参照プロファイルや、テストの基本統計量（受験者数、通過率、平均、SD、信頼性、正答数）も出力。 neutetはCUI、EasyNTTはGUI なのにneutetより軽くて速い(^_^;)

25 今後の予定 一部パラメタの固定 等化 段階反応への対応 ソースがスパゲティ化してきたので少しほぐしたい…