林 篤裕 (独立行政法人 大学入試センター 研究開発部)

Slides:



Advertisements
Similar presentations
第4章 何のための評価? 道案内 (4) 何のための評価? ♢なぜ教育心理学を勉強するか? (0) イントロダクション ♢効果的な授業をするために (1) 記憶のしくみを知る (2) 学習のしくみを知る (3) 「やる気」の心理学 ♢生徒を正しく評価するために ♢生徒の心を理解するために (5)
Advertisements

1 変量データの記述 (度数分布表とヒストグラム) 経済データ解析 2009 年度後 期. あるクラスのテストの点数が次のように なっていたとする。 このように出席番号と点数が並んでいるものだけでは、 このクラスの特徴がわかりづらい。 → このクラスの特徴がわかるような工夫が必要 → このクラスの特徴がわかるような工夫が必要.
社会福祉調査論 第 8 講 統計の基本的整理 12 月7日. 【目標】 量的調査の集計方法、結果の示し方につ いて、基礎的な手法を習得する。 統計値を捉えるための諸指標を理解する。
生物統計学・第 4 回 比べる準備をする 平均、分散、標準偏差、標準誤差、標準 化 2015 年 10 月 20 日 生命環境科学域 応用生命科学類 尾形 善之.
ヒストグラム5品種 松江城 出雲大社 石見銀山 三瓶山 アクアス しかしグラフで比較するのはめんどうなところがある 端的に1つの数字(代表値)で品種の特徴を表したい.
学区制は不要なのか 金井 智史 木田 啓子 栗城 英典 野澤 寛 今井 礼華 河野 友紀子 白川 裕子 長野 浩太 1 社会工学における戦略的思考 マッチング 班 指導教員:渡邊直樹先生 2009 年 11 月 13 日.
QC七つ道具 工業高校におけるキャリア教育 高等学校(工 業) パレート図パレート図 特性要因図 ヒストグラム チェックシート 散布図 グラフ 管理図 層別特性要因図ヒストグラムチェックシート散布図グラフ管理図層別.
中学校段階での 相関関係の指導 宮崎大学教育文化学部 藤井良宜. 概要 現在の学習指導要領における統計の扱い これまでの相関関係の指導 相関関係の指導のポイント 相関関係.
摂南大学理工学部における 数学教育と EMaT への取組み 東武大、小林俊公、中津了勇、島田伸一、寺本惠昭、友枝 恭子 ( 摂南大学理工学部 基礎理工学機構 ) 日本工学教育協会 第 63 回年次大会 2015 年 9 月 4 日 ( 金 ) 9:30-9:45.
1 入試データの解析 ~大学入試センター内で行なわれている解析方法 ~ ( 独立行政法人 大学入試センター 研究開発 部 ) 02/10/05 富士通大分ソフトウェアラボラ トリ 大分統計談話会第 31 回大会 林 篤裕 (
統計学 第3回 西山. 第2回のまとめ 確率分布=決まっている分布の 形 期待値とは平均計算 平均=合計 ÷ 個数から卒業! 平均=割合 × 値の合計 同じ平均値でも 同じ分散や標準偏差でも.
1 項目反応理論によるテストの作成 東京工業大学 大学院社会理工学研究科 前川 眞一.
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
寺尾 敦 青山学院大学社会情報学部 atsushi [at] si.aoyama.ac.jp
「CBT 技法研究会」(柳本武美先生の研究会) 「CBT 技法研究会」 コメント 林 篤裕 (大学入試センター研究開発部)
第34回安全工学シンポジウム, 日本学術会議, 安全知の体系化
徹底活用するための校内研修パッケージ これから、「子どもの学びを支えるヒント集2」を活用した校内研修を始めます。
患者満足度調査結果報告書(外来患者調査)
周育佳 東京外国語大学地域文化研究科博士後期課程
公務員採用試験の流れ.
第1回 担当: 西山 統計学.
試験実施の現場から ~大学入試センター内で行なわれている解析方法~
第4回 (10/16) 授業の学習目標 先輩の卒論の調査に協力する。 2つの定量的変数間の関係を調べる最も簡単な方法は?
AO選考とともにポートフォリオ型一般入試へ進化 ~脱個別学力試験/学力検査の工夫策~
大学入試センターにおける統計作業 林 篤裕 (大学入試センター 研究開発部) 第1回 S-PLUS ユーザーカンファレンス
― 高大連携 入学前教育(学習)の 充実と合理的な進展を目指して -
就職活動について 就職担当 平成28年3月卒業予定学生 平成26年10月1日から平成27年9月31日まで
入試データの活用方法 ~データの現場から~
「大阪府南部と和歌山市の中学校・高等学校の地学(天文分野)に関する意識調査、 およびその考察」
主成分分析                     結城  隆   .
回帰分析/多変量分析 1月18日.
統計リテラシー育成のための数学の指導方法に関する実践的研究
Q&A10項目 早分かり (学部教務委員会作成2009年)
ニューラルテスト理論を利用した 教科テストの Can-do table 作成
データベース設計 データベース設計 第0回 オリエンテーション 坂口利裕.
今、問われる 「学力」 とは?.
早稲田大学大学院商学研究科 2016年1月13日 大塚忠義
離婚が出生数に与える影響 -都道府県データを用いた計量分析
第13回 QC7つ道具(データの可視化・活用) 経営情報論A
平成○○年○○月○○日(○) 進路について ○○中学校 第3学年.
数理統計学 第4回 西山.
第4日目第3時限の学習目標 検査の信頼性(続き)を学ぶ。 妥当性について学ぶ。 (1)構成概念妥当性とは? (2)内容妥当性とは?
新入生の事前知識の違いによる コンピュータリテラシ学習効果の分析
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
~夢はここで実現する~ 北条高校 POWER UP HIGH SCHOOL
予測に用いる数学 2004/05/07 ide.
学生の学力低下と化学教育における工夫 日本大学理工学部の教育事例紹介 私化連シンポジウム 日本大学 理工学部 物質応用化学科
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
教員養成課程の学生を対象とした物理嫌いについての実態調査
情報科の評価 情報科教育法 後期5回 2004/11/05 太田 剛.
AO入試合格者に対する入学前学習課題としての 大学入試センター試験受験の試み (大学教育学会 第32回大会 愛媛大学 2010/6/5)
就職活動と大学院進学について 物理科学科就職担当 深沢泰司.
データモデリング モデルの基本作法.
平成31(2019)年度 ○○○立○○小学校 学力向上プラン(例)
コードクローン分類の詳細化に基づく 集約パターンの提案と評価
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
「アルゴリズムとプログラム」 結果を統計的に正しく判断 三学期 第7回 袖高の生徒ってどうよ調査(3)
都市・港湾経済学(総) 国民経済計算論(商)
5.集計,ピボットテーブル(クロス集計表)
業務分析データの読み方 平成27年度 厚生労働省 認定調査員能力向上研修会 厚生労働省 老健局 老人保健課.
情報の集約 記述統計 記述統計とは、収集したデータの分布を明らかにする事により、データの示す傾向や性質を要約することです。データを収集してもそこから情報を読み取らなければ意味はありません。特に膨大な量のデータになれば読みやすい形にまとめて要約する必要があります。
日本と異なる選抜方式 があることを理解しよう
就職活動と大学院進学について 物理科学科就職担当 深沢泰司.
地理情報システム論(総)/ 国民経済計算論(商)
地理情報システム論 第4回 コンピュータシステムおける データ表現(2)
疫学概論 測定の妥当性 Lesson 20. 評価の要件 §A. 測定の妥当性 S.Harano, MD,PhD,MPH.
1変量データの記述 (度数分布表とヒストグラム)
平成30年度 ○○○立○○中学校 学力向上プラン(例)
データ分布の特徴 基準化変量 歪度 尖度.
高等学校において留意願いたい事項について
Presentation transcript:

林 篤裕 (独立行政法人 大学入試センター 研究開発部) 行動計量学 岡山地域部会 (07/06/02 @岡山大学環境理工学部) 入試向け統計資料と 入試データの活用 林 篤裕 (独立行政法人 大学入試センター 研究開発部) 資料配布場所 http://peter.rd.dnc.ac.jp/~ice/haifu/oka0207/

大学入試センター 沿革 業務内容 : www.dnc.ac.jp 1977年5月(S51) 設立 1990年1月( H2) 大学入試センター試験(第1回) 2001年4月(H13) 独立行政法人に移行 業務内容 : www.dnc.ac.jp 試験作成、実施、採点 大学への成績提供、合否情報 入学者の選抜方法の改善に関する調査・研究 進学のための情報提 : ハートシステム、ガイダンス (www.heart.dnc.ac.jp)

組織図 定員 106名 業務 業務方法書 中期計画 年度計画 センター規則 ア 大学入試センター試験に関し、試験問題の作成及び 採点その他一括して処理することが適当な業務 イ 大学の入学者の選抜方法の改善に関する調査及び研究 ウ 大学に入学を志望する者の進路選択に資するための 大学に関する情報の提供 エ アからウの三つの業務に附帯する業務 www.dnc.ac.jp/dnc/gaiyou/gaiyou.html 業務方法書 中期計画 年度計画 センター規則

センター試験の実施規模 (平成14年度) 志願者数 : 約60万人 利用大学 : 684試験場、9078試験室 受験者数 : 55.3万人 (91.9%) 答案枚数 : 約300万枚 利用大学 : 478大学 約110万件のデータ請求 (平成15年度は 520大学) 採点業務 5日間でほぼ読み終える必要性 緻密な確定作業 ワゴン : 800台、9000枚/台 OMR : 14台、19000枚/時/台

統計作業(概要1) 作題者に対して統計情報を提供(評価資料) 平均、標準偏差 得点分布 連関表 設問解答率分析図 モニター調査 入試問題の改善 個別対応(作題部会毎)等、...

統計作業(概要2) 大学スタッフとの共同作業 その他 入試問題の改善 追跡調査 合否入替り率 調査、アンケート等 得点調整 分位点差縮小法 研究開発 : プロジェクト研究、等化、学力、... 調査研究 : 学力低下、総合試験、...

作題者に対して統計情報を提供 平均、標準偏差 得点分布 : 集団全体の動向 連関表 : (評価資料) 特定の科目を選択した者の他の科目の得点 集団毎の成績、特性 生物群、日本史群 : 文系受験者が多い傾向 物理群、地理群 : 理系受験者が多い傾向

設問解答率分析図 各設問の特性、特徴、性能 を把握 各設問毎に見た場合 正答したか、誤答したか:2値 どのレベルの受験者に正答できるのか? 難易度 ある教科において合計得点の高い群、 低い群の正答率はどのようになっているか? 識別力 誤答の傾向・パターン:問題作成の観点から 誤答分析

設問解答率分析図の作り方 合計得点順に受験者を5群に分割 各群での正答率を直線でつなぐ 誤答が10% 以上集中した場合 科目毎 横軸:学力のレベル(下位群、...、上位群) 各群での正答率を直線でつなぐ 縦軸:正答率 誤答が10% 以上集中した場合 誤答も図に加える 間違って選択し易い選択肢

典型的な例(1) 図1 どの群でも正答 どの群でもそこそこ どの群でも不正答 図2 識別力の度合い (全ての群を識別)

分析図の性質 各群の学力に見合った正答率 難易度:直線の位置、高さ : 図1 識別力:各群を明確に分離 : 図2、図3 基本的には右上がりになるはず==>単調増加 難易度:直線の位置、高さ : 図1 識別力:各群を明確に分離 : 図2、図3 増加の程度、直線の勾配 各群で正答率に差がある&単調増加:識別に有効 増加の程度が低い:識別には有効でない 折れ曲がり:ある群には正答できない時 設問に何か配慮すべき点が隠されていないか? 誤答分析:惑わされ易い選択肢

典型的な例(2) 図3 下位群を識別 上位群を識別 図4 特異な例 (検討を要する)

検討対象となり得る設問 最高値でも60%程度まで:難問 折れ曲がっている(単調増加ではない) レンジが狭い:識別力が低い 2極化、3極化:正答の候補が絞れる、2択 最小値が大きすぎる:適度な個数は必要 ・・・・・

大問得点率分析図 設問解答率分析図:設問単位で分析 大問得点率分析図:大問単位で分析 センター試験:識別力が比較的高い 個別学力試験:?? 各群ごとの大問の得点率を直線でつなぐ 大問というまとまりでの“正答率” = “得点率” 大問レベルの難易度 センター試験:識別力が比較的高い 個別学力試験:??

モニター調査 調査の目的 :データの蓄積、貴重な資料 モニター調査と本物の試験の比較 実施方法 本試験と追試験の難易度の比較 同じ受験者による比較 同一教科の難易度の比較 地理歴史(B)、公民、理科(IB) 同じ学力集団による比較 モニター調査と本物の試験の比較 翌年以降の作題に活用 実施方法 大学1年生を被験者(400名程度)に 4日間(2日x2週)を通して 本物の試験とは時刻をずらして

大学スタッフとの共同作業 合否入替り率 : 2つの試験 それぞれの試験問題に対する評価 どちらの成績が合否により強く影響しているか 大学入試センター試験 個別学力試験 それぞれの試験問題に対する評価 どちらの成績が合否により強く影響しているか 1次試験の劣勢を跳ね返すだけの能力を 有した受験者

合否入替り率 : 言葉的には 2つの試験成績が合否に与える影響を測る指標 大学入試センター試験(1次試験)による入替り率 一方だけが課されたとした場合に、 入替る合格者の人数を 全合格者に対する割合で示したもの 大学入試センター試験(1次試験)による入替り率 大学入試センター試験があったおかげで合格できた 個別学力試験(2次試験)による入替り率 個別学力試験があったおかげで合格できた

受験者の成績分布 : 図5 横軸に大学入試センター試験の成績 縦軸に個別学力試験の成績 受験者の分布 : 楕円内 総合計点 : ー45度の直線上の受験者は同点 (2つの試験の重みが等しい場合)

図5 受験者の成績分布

受験者の成績分布 : 図5 総合計点の大きい者から順に合格とは 大学入試センター試験の成績だけで合否判定 個別学力試験の成績だけで合否判定 直線を右上から左下に向かって平行に移動 直線より右上側の領域の人数が 定員に達したところで固定 <=== 合格ライン 右上側に合格者群、左下側に不合格者群 大学入試センター試験の成績だけで合否判定 垂直軸を定員に達するまで右から左に移動 : x0 個別学力試験の成績だけで合否判定 水平軸を定員に達するまで上から下に移動 : y0

散布図中の4つの群 : 図5 a : どちらの試験でも合格点に達していないのに、 総合成績により合格した群。幸運群。 b : 1次試験の成績の優位さを武器に合格した群。逃切り群。 c : どちらの試験でも合格点に達しており、 かつ、総合成績でも合格した群。先頭群。 d : 2次試験の成績の優位さを武器に合格した群。逆転群。

合格ラインと x0 , y0 の関係によって 図6 幸運者が出る場合 図7 不運者が出る場合

合格者数と切り取られた面積の関係 散布図 : 受験者を平面に射影して示したもの 密度(付置されている受験者の数)は 表現されていない 密度(付置されている受験者の数)は 表現されていない 領域の面積と分類された合格者数は 比例関係にはない <=== 注意 人数は体積で表現される

「(総合成績による)合格者」 : 4種類に分類 大学入試センター試験があったおかげで 合格できた合格者 : (a+b) 個別学力試験があったおかげで 合格できた合格者 : (a+d) それぞれ(全)合格者の中に どの程度含まれているかを割合で示したもの ===> 合否入替り率 大学入試センター試験による入替り率 = {[a+b]領域の人数}/{[a+b+c+d]領域の人数} 個別学力試験による入替り率 = {[a+d]領域の人数}/{[a+b+c+d]領域の人数}

合否入替り率の有用性 [例:配点] 大学入試センター試験 > 個別学力試験 個別学力試験による入替り率が5割を越えていたら... 個別学力試験によって逆転できた合格者が多い 個別学力試験で課した科目を 非常に得意としている入学者が多い 個別学力試験で課した以外の科目の学力が 不十分な合格者が少なからず入学? 大学入試センター試験重視の方針であれば、 大学入試センター試験による入替り率が高く 個別学力試験による入替り率が低くなってほしい 個別学力試験重視であれば、この逆 入学者の特性を判断する資料

合否入替り率の性質(1) 図8 分散の違いによる影響 図9 相関による影響

合否入替り率の性質(2) 図10 受験倍率による影響 図11 両試験の重みによる影響

入替り率の応用(1) 全試験科目群の中から注目している1科目 一つの科目を課さなかった場合の合否の可能性 合否に与える影響という観点から評価 この1科目と残りの全ての科目との関係 どの科目が合否に影響を与えているかを判断 傾斜配点を行う際の資料

入替り率の応用(2) 受験科目から国語がなくなったとしたら... どの合格者が入替るか 得意科目が国語の受験者を識別 各受験者の得意科目を識別 個々の受験者の得意科目による分類 合否判定の資料 追跡調査を行う際の入学者属性...

その他の作業 : 得点調整 得点調整 平均点を完全には一致させない 科目間の平均点に一定以上の差が生じた場合 試験問題の難易さに基づくと認められた時 対象科目 地理歴史の「世界史B」「日本史B」「地理B」 公民の「現代社会」「倫理」「政治・経済」 理科の「物理IB」「化学IB」 「生物IB」 「地学IB」 平均点を完全には一致させない 20点以上の差を15点程度に縮小 選択科目で発生していることから 0点は0点に、100点は100点に :分位点差縮小法

図12 得点の累積分布図

(中)まとめ(1) 入試の種々の場面で 今後の入試作業に反映 いろいろな指標 作題者に結果をフィードバック 大学スタッフとの共同作業 得点調整、調査、... 今後の入試作業に反映 いろいろな指標 各種統計量 図示 割合、... グループ毎の集計の連結、...

(中)まとめ(2) 入試業務の一端を担っているつもり 指標を作る人(統計家等)と使う人(現場の方) 道具立て 各種入試評価資料が有効に活用 次年度以降の入試評価・研究の参考 道具立て 計算機 : 大型、パソコン プログラミングツール : SAS, S-PLUS、自作... 清書ツール : 各種ワープロ、TeX、GNUPLOT... 入試業務の一端を担っているつもり

最近の入試関係の話題 スコアリング・レポート その他 点数だけでなく、学習指針を受験者に返す Rule Space Method : 一種の分類手法 問題分析がキーポイント : “attribute” その他 高大連携 : 高校と大学の接続、若者のバトンタッチ AO入試 : Admission Office : 丹念な(?)入試、推薦と異? LSAT : 法科大学院向け入試 「総合問題」 : 科目複合型試験? : 来年からのプロジェクト リスニングテスト : コミュニケーション能力 「情報科目」をセンター試験科目とするか 国際シンポジウム : 11月16、17日 「問題作成からみる大学」 : 是非ご参加下さい www.rd.dnc.ac.jp/~istd/

スコアリング・レポート 学習診断 試験成績 : “次の一手”、“道しるべ”を示す Rule Space Method (RSM) 点数だけでなく、学習指針を受験者に返す 試験成績 : 得点という数値のみ + ==> よりきめ細かい教育 未学習単元の指摘 “次の一手”、“道しるべ”を示す Rule Space Method (RSM) 一種の分類手法 解答パターンから習熟進度を判断、分類 問題分析がキーポイント : “attribute”

Rule Space Method (その1) 教育評価の分野から誕生 [発想] : 同じ得点 ≠ 同じ学習進度 クラスタリング手法 <=== 統計的観点 解答パターンから学習進度に基づいて 受験者を Knowledge State (KS) に分類 Knowledge State (KS) 学習進度、習得・未習得単元 受験者を分類

Rule Space Method (その2) 道具立て 絡み合った Attribute [Attribute の例] 個々の問題(Item、設問、項目) 最小の単元セット(Attribute) 関係を示す行列(Incidence Matrix, Item-Attribute Matrix, Q-Matrix) 受験者の解答パターン(item response pattern) 絡み合った Attribute 解答パターンの把握:思考方法、習得技量 別解 [Attribute の例]

Rule Space Method (その3) 問題分析(Task Analysis): Attribute抽出作業 試験問題に精通した専門家 教員、ドメイン・エキスパート 大掛かりな作業 RSM の有用性の可否を握る RSMの核心 Knowledge State (KS)の特性に強く影響する アルゴリズム、解法、... RSMの紹介と実際例での検証 行動計量学会(9月、多摩大)で発表予定 「学習進度を把握する分類法としての RSM」