大学入試センターにおける統計作業 林 篤裕 (大学入試センター 研究開発部) 第1回 S-PLUS ユーザーカンファレンス

Slides:



Advertisements
Similar presentations
第4章 何のための評価? 道案内 (4) 何のための評価? ♢なぜ教育心理学を勉強するか? (0) イントロダクション ♢効果的な授業をするために (1) 記憶のしくみを知る (2) 学習のしくみを知る (3) 「やる気」の心理学 ♢生徒を正しく評価するために ♢生徒の心を理解するために (5)
Advertisements

1 変量データの記述 (度数分布表とヒストグラム) 経済データ解析 2009 年度後 期. あるクラスのテストの点数が次のように なっていたとする。 このように出席番号と点数が並んでいるものだけでは、 このクラスの特徴がわかりづらい。 → このクラスの特徴がわかるような工夫が必要 → このクラスの特徴がわかるような工夫が必要.
社会福祉調査論 第 8 講 統計の基本的整理 12 月7日. 【目標】 量的調査の集計方法、結果の示し方につ いて、基礎的な手法を習得する。 統計値を捉えるための諸指標を理解する。
生物統計学・第 4 回 比べる準備をする 平均、分散、標準偏差、標準誤差、標準 化 2015 年 10 月 20 日 生命環境科学域 応用生命科学類 尾形 善之.
ヒストグラム5品種 松江城 出雲大社 石見銀山 三瓶山 アクアス しかしグラフで比較するのはめんどうなところがある 端的に1つの数字(代表値)で品種の特徴を表したい.
学区制は不要なのか 金井 智史 木田 啓子 栗城 英典 野澤 寛 今井 礼華 河野 友紀子 白川 裕子 長野 浩太 1 社会工学における戦略的思考 マッチング 班 指導教員:渡邊直樹先生 2009 年 11 月 13 日.
QC七つ道具 工業高校におけるキャリア教育 高等学校(工 業) パレート図パレート図 特性要因図 ヒストグラム チェックシート 散布図 グラフ 管理図 層別特性要因図ヒストグラムチェックシート散布図グラフ管理図層別.
4. 統計的検定 ( ダイジェスト版 ) 保健統計 2014 年度. Ⅰ 仮説検定の考え方 次のような問題を考える。 2014 年のセンター試験、英語の平均点は 119 点であった。 T 高校では 3 年生全員がセンター試験を受験したが、受験生の中から 25 人を選んで調査したところ、その平均点は.
中学校段階での 相関関係の指導 宮崎大学教育文化学部 藤井良宜. 概要 現在の学習指導要領における統計の扱い これまでの相関関係の指導 相関関係の指導のポイント 相関関係.
2012 年 埼玉県公立高校入試総括 エデュケーショナルネットワーク 池田 亨.
摂南大学理工学部における 数学教育と EMaT への取組み 東武大、小林俊公、中津了勇、島田伸一、寺本惠昭、友枝 恭子 ( 摂南大学理工学部 基礎理工学機構 ) 日本工学教育協会 第 63 回年次大会 2015 年 9 月 4 日 ( 金 ) 9:30-9:45.
1 入試データの解析 ~大学入試センター内で行なわれている解析方法 ~ ( 独立行政法人 大学入試センター 研究開発 部 ) 02/10/05 富士通大分ソフトウェアラボラ トリ 大分統計談話会第 31 回大会 林 篤裕 (
統計学 第3回 西山. 第2回のまとめ 確率分布=決まっている分布の 形 期待値とは平均計算 平均=合計 ÷ 個数から卒業! 平均=割合 × 値の合計 同じ平均値でも 同じ分散や標準偏差でも.
コンピュータプラクティ スⅠ アンケート 水野嘉明 1. 本日の予定 「アンケート」  人間的な要因を評価するための 一手段として、アンケートの方 法について学ぶ  実験では、アンケートの集計を 行う 2.
1 項目反応理論によるテストの作成 東京工業大学 大学院社会理工学研究科 前川 眞一.
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
「CBT 技法研究会」(柳本武美先生の研究会) 「CBT 技法研究会」 コメント 林 篤裕 (大学入試センター研究開発部)
統計解析 第3章 散布度.
患者満足度調査結果報告書(外来患者調査)
周育佳 東京外国語大学地域文化研究科博士後期課程
公務員採用試験の流れ.
第1回 担当: 西山 統計学.
試験実施の現場から ~大学入試センター内で行なわれている解析方法~
サンデーショックによる 私立校試験日程の変化: 社会厚生と最適な試験日程
第4回 (10/16) 授業の学習目標 先輩の卒論の調査に協力する。 2つの定量的変数間の関係を調べる最も簡単な方法は?
AO選考とともにポートフォリオ型一般入試へ進化 ~脱個別学力試験/学力検査の工夫策~
データ解析基礎 4. 正規分布と相関係数 keyword 正規分布(教科書:31ページ~38ページ) 正規分布の性質 偏差値
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
就職活動について 就職担当 平成28年3月卒業予定学生 平成26年10月1日から平成27年9月31日まで
入試データの活用方法 ~データの現場から~
相関と回帰:相関分析 2つの変量それぞれが正規分布にしたがってばらつく量であるとき,両変数の直線的な関係を相関分析する. 例:兄弟の身長
「大阪府南部と和歌山市の中学校・高等学校の地学(天文分野)に関する意識調査、 およびその考察」
主成分分析                     結城  隆   .
第3章補足 ローレンツ曲線とジニ係数 統計学基礎 2010年度.
回帰分析/多変量分析 1月18日.
統計リテラシー育成のための数学の指導方法に関する実践的研究
ニューラルテスト理論を利用した 教科テストの Can-do table 作成
林 篤裕 (独立行政法人 大学入試センター 研究開発部)
自校の結果分析 小学校算数A TOP 設問 番号 設問の概要 自校 正答率 リンク 1(2) % 69.9% 問題 類型 指導 関連問題
賃金分析 -現行の賃金制度を客観的に分析する-
早稲田大学大学院商学研究科 2016年1月13日 大塚忠義
離婚が出生数に与える影響 -都道府県データを用いた計量分析
平成○○年○○月○○日(○) 進路について ○○中学校 第3学年.
数理統計学 第4回 西山.
新入生の事前知識の違いによる コンピュータリテラシ学習効果の分析
~夢はここで実現する~ 北条高校 POWER UP HIGH SCHOOL
コードクローン検出ツールを用いた ソースコード分析システムの試作と プログラミング演習への適用
予測に用いる数学 2004/05/07 ide.
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
教員養成課程の学生を対象とした物理嫌いについての実態調査
AO入試合格者に対する入学前学習課題としての 大学入試センター試験受験の試み (大学教育学会 第32回大会 愛媛大学 2010/6/5)
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
就職活動と大学院進学について 物理科学科就職担当 深沢泰司.
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
コードクローン分類の詳細化に基づく 集約パターンの提案と評価
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
「アルゴリズムとプログラム」 結果を統計的に正しく判断 三学期 第7回 袖高の生徒ってどうよ調査(3)
都市・港湾経済学(総) 国民経済計算論(商)
5.集計,ピボットテーブル(クロス集計表)
業務分析データの読み方 平成27年度 厚生労働省 認定調査員能力向上研修会 厚生労働省 老健局 老人保健課.
情報の集約 記述統計 記述統計とは、収集したデータの分布を明らかにする事により、データの示す傾向や性質を要約することです。データを収集してもそこから情報を読み取らなければ意味はありません。特に膨大な量のデータになれば読みやすい形にまとめて要約する必要があります。
プログラムスライスを用いた凝集度メトリクスに基づく 類似メソッド集約候補の順位付け手法
日本と異なる選抜方式 があることを理解しよう
就職活動と大学院進学について 物理科学科就職担当 深沢泰司.
地理情報システム論(総)/ 国民経済計算論(商)
地理情報システム論 第4回 コンピュータシステムおける データ表現(2)
1変量データの記述 (度数分布表とヒストグラム)
データ分布の特徴 基準化変量 歪度 尖度.
高等学校において留意願いたい事項について
実都市を対象とした初期マイクロデータの 推定手法の適用と検証
Presentation transcript:

大学入試センターにおける統計作業 林 篤裕 (大学入試センター 研究開発部) 第1回 S-PLUS ユーザーカンファレンス (11/16/01 @アルカディア市谷) 大学入試センターにおける統計作業 林 篤裕 (大学入試センター 研究開発部)

大学入試センター 沿革 業務内容 : www.dnc.ac.jp 1977年5月(S51) 設立 1990年1月( H2) 大学入試センター試験(第1回) 2001年4月(H13) 独立行政法人に移行 業務内容 : www.dnc.ac.jp 試験作成、実施、採点 大学への成績提供、合否情報 進学のための情報提 : ハートシステム (www.heart.dnc.ac.jp)

組織図 定員 106名 業務 ア 大学入試センター試験に関し、試験問題の作成及び 採点その他一括して処理することが適当な業務 ア 大学入試センター試験に関し、試験問題の作成及び 採点その他一括して処理することが適当な業務 イ 大学の入学者の選抜方法の改善に関する調査及び研究 ウ 大学に入学を志望する者の進路選択に資するための 大学に関する情報の提供 エ アからウの三つの業務に附帯する業務

センター試験の実施規模 (平成13年度) 志願者数 : 約60万人 利用大学 : 約650試験場、9085試験室 受験者数 : 53.9万人 (91.3%) 答案枚数 : 約300万枚 利用大学 : 433大学 102万件のデータ請求 (平成14年度は 479大学) 採点業務 5日間でほぼ読み終える必要性 緻密な確定作業

統計作業(1) 作題者に対して統計情報を提供(評価資料) 平均、標準偏差 得点分布 連関表 設問解答率分析図 入試問題の改善 個別対応等、...

統計作業(2) 大学スタッフとの共同作業 その他 入試問題の改善 追跡調査 合否入替り率 調査、アンケート等 得点調整 分位点差縮小法 研究開発 : プロジェクト研究、等化、学力、... 調査研究 : 学力低下、...

作題者に対して統計情報を提供 平均、標準偏差 得点分布 : 集団全体の動向 連関表 : (評価資料) 特定の科目を選択した者の他の科目の得点 集団毎の成績、特性 生物群 : 文系受験者が多い 地理群 : 理系受験者が多い

設問解答率分析図 各設問毎に見た場合 正答したか、誤答したか:2値 どのレベルの受験者に正答できるのか? 難易度 ある教科において合計得点の高い群、 低い群の正答率はどのようになっているか? 識別力 誤答の傾向・パターン:問題作成の観点から 誤答分析

設問解答率分析図の作り方 合計得点順に受験者を5群に分割 各群での正答率を直線でつなぐ 誤答が10% 以上集中した場合 科目毎 横軸:学力のレベル(下位群、...、上位群) 各群での正答率を直線でつなぐ 縦軸:正答率 誤答が10% 以上集中した場合 誤答も図に加える 間違って選択し易い選択肢

典型的な例(1) 図1 どの群でも正答 どの群でもそこそこ どの群でも不正答 図2 識別力の度合い (全ての群を識別)

分析図の性質 各群の学力に見合った正答率 難易度:直線の位置、高さ : 図1 識別力:各群を明確に分離 : 図2、図3 基本的には右上がりになるはず==>単調増加 難易度:直線の位置、高さ : 図1 識別力:各群を明確に分離 : 図2、図3 増加の程度、直線の勾配 各群で正答率に差がある&単調増加:識別に有効 増加の程度が低い:識別には有効でない 折れ曲がり:ある群には正答できない時 設問に何か配慮すべき点が隠されていないか? 誤答分析:惑わされ易い選択肢

典型的な例(2) 図3 下位群を識別 上位群を識別 図4 特異な例 (検討を要する)

検討対象となり得る設問 最高値でも60%程度まで:難問 折れ曲がっている(単調増加ではない) レンジが狭い:識別力が低い 2極化、3極化:正答の候補が絞れる、2択 最小値が大きすぎる:適度な個数 ・・・・・

大問得点率分析図 設問解答率分析図:設問単位で分析 大問得点率分析図:大問単位で分析 センター試験:識別力が比較的高い 個別学力試験:?? 各群ごとの大問の得点率を直線でつなぐ 大問というまとまりでの“正答率” 大問レベルの難易度 センター試験:識別力が比較的高い 個別学力試験:??

大学スタッフとの共同作業 合否入替り率 : 2つの試験 それぞれの試験問題に対する評価 どちらの成績が合否により強く影響しているか 大学入試センター試験 個別学力試験 それぞれの試験問題に対する評価 どちらの成績が合否により強く影響しているか 1次試験の劣勢を跳ね返すだけの能力を 有した受験者

合否入替り率 : 言葉的には 2つの試験成績が合否に与える影響を測る指標 大学入試センター試験(1次試験)による入替り率 一方だけが課されたとした場合に、 入替る合格者の人数を 全合格者に対する割合で示したもの 大学入試センター試験(1次試験)による入替り率 大学入試センター試験があったおかげで合格できた 個別学力試験(2次試験)による入替り率 個別学力試験があったおかげで合格できた

受験者の成績分布 : 図5 横軸に大学入試センター試験の成績 縦軸に個別学力試験の成績 受験者の分布 : 楕円内 総合計点 : ー45度の直線上の受験者は同点 (2つの試験の重みが等しい場合)

図5 受験者の成績分布

受験者の成績分布 : 図5 総合計点の大きい者から順に合格とは 大学入試センター試験の成績だけで合否判定 個別学力試験の成績だけで合否判定 直線を右上から左下に向かって平行に移動 直線より右上側の領域の人数が 定員に達したところで固定 <=== 合格ライン 右上側に合格者群、左下側に不合格者群 大学入試センター試験の成績だけで合否判定 垂直軸を定員に達するまで右から左に移動 : x0 個別学力試験の成績だけで合否判定 水平軸を定員に達するまで上から下に移動 : y0

散布図中の4つの群 : 図5 a : どちらの試験でも合格点に達していないのに、 総合成績により合格した群。幸運群。 b : 1次試験の成績の優位さを武器に合格した群。逃切り群。 c : どちらの試験でも合格点に達しており、 かつ、総合成績でも合格した群。先頭群。 d : 2次試験の成績の優位さを武器に合格した群。逆転群。

合格ラインと x0 , y0 の関係によって 図6 幸運者が出る場合 図7 不運者が出る場合

合格者数と切り取られた面積の関係 散布図 : 受験者を平面に射影して示したもの 密度(付置されている受験者の数)は 表現されていない 密度(付置されている受験者の数)は 表現されていない 領域の面積と分類された合格者数は 比例関係にはない <=== 注意 人数は体積で表現される

「(総合成績による)合格者」 : 4種類に分類 大学入試センター試験があったおかげで 合格できた合格者 : (a+b) 個別学力試験があったおかげで 合格できた合格者 : (a+d) それぞれ(全)合格者の中に どの程度含まれているかを割合で示したもの ===> 合否入替り率 大学入試センター試験による入替り率 = {[a+b]領域の人数}/{[a+b+c+d]領域の人数} 個別学力試験による入替り率 = {[a+d]領域の人数}/{[a+b+c+d]領域の人数}

合否入替り率の有用性 [例:配点] 大学入試センター試験 > 個別学力試験 個別学力試験による入替り率が5割を越えていたら... 個別学力試験によって逆転できた合格者が多い 個別学力試験で課した科目を 非常に得意としている入学者が多い 個別学力試験で課した以外の科目の学力が 不十分な合格者が少なからず入学? 大学入試センター試験重視の方針であれば、 大学入試センター試験による入替り率が高く 個別学力試験による入替り率が低くなってほしい 個別学力試験重視であれば、この逆 入学者の特性を判断する資料

合否入替り率の性質(1) 図8 分散の違いによる影響 図9 相関による影響

合否入替り率の性質(2) 図10 受験倍率による影響 図11 両試験の重みによる影響

入替り率の応用(1) 全試験科目群の中から注目している1科目 一つの科目を課さなかった場合の合否の可能性 合否に与える影響という観点から評価 この1科目と残りの全ての科目との関係 どの科目が合否に影響を与えているかを判断 傾斜配点を行う際の資料

入替り率の応用(2) 受験科目から国語がなくなったとしたら... どの合格者が入替るか 得意科目が国語の受験者を識別 各受験者の得意科目を識別 個々の受験者の得意科目による分類 合否判定の資料 追跡調査を行う際の入学者属性...

その他の作業 得点調整 : 分位点縮小法 平均点を完全には一致させない 科目間の平均点に一定以上の差が生じた場合 試験問題の難易さに基づくと認められた時 対象科目 地理歴史の「世界史B」「日本史B」「地理B」 公民の「現代社会」「倫理」「政治・経済」 理科の「物理IB」「化学IB」 「生物IB」 「地学IB」 平均点を完全には一致させない 20点以上の差を15点程度に縮小 選択科目で発生していることから

図12 得点の累積分布図

まとめ(1) 入試の種々の場面で 今後の入試作業に反映 いろいろな指標 作題者に結果をフィードバック 大学スタッフとの共同作業 得点調整、調査、... 今後の入試作業に反映 いろいろな指標 各種統計量 図示 割合、... グループ毎の集計の連結、...

まとめ(2) 指標を作る人(統計家等)と使う人(現場の方) 道具立て 今後の入試関係の話題 各種入試評価資料が有効に活用 次年度以降の入試評価・研究の参考 道具立て 計算機 : 大型、パソコン プログラミングツール : S-PLUS、... 清書ツール : 各種ワープロ、TeX、... 今後の入試関係の話題 スコアリング・レポート 点数だけでなく、学習指針を受験者に返す Rule Space Method : 一種の分類手法