Shared Questionnaire System

Presentation on theme: "Shared Questionnaire System"— Presentation transcript:

1 Shared Questionnaire System

2 アブスト（案）： 調査仮説・調査票・調査結果のセットを，調査媒体非依存のXMLで記述した上で，汎用のプリンタ用紙やスキャナなどの機器を用いたマークシート式の調査実施に対応するソフトウェアシステムを実現した． これを，宮城県教育委員会をはじめとする各県の学校評価において実際に運用し，事務的負担の軽減についての評価を行った． このシステムを用いることで，ソーシャルキャピタルなど公共的価値に関する実測データと，それを指標化・改善してゆく問題意識としてのメタデータとを，ゆるやかな役割分担の上で記述・参照し合うことができるような semantic web のフレームワークを提案する． 従来は，メタデータを作る方法には，統制下にある専門家がメタデータを書くか，統制下にない一般利用者の書いた自然言語情報からメタデータを機械的に抽出するかの，両極端の方法しかなかった． 本研究は，この両者の間に，半統制的な環境にある調査実施者(調査票を現場ごとにカスタマイズしながら実際の調査を実施し分析を行う者)を新たに位置づけることにより，従来のメタデータ記述手法を補完できるということを示すものである．

3 0.システムの概要 0-１．ネットワークの構成とユースケース 0-２．システム内データのライフサイクル 0-３．コンポーネント配布プロトコル
SQSはデータ・メタデータの記述と参照に関する社会実験である 0-２．システム内データのライフサイクル SQSは「調査」に関する３つのユーザクラスを設定する。組織を超えたXMLスキーマやXMLインスタンスの流通と再利用のフローによりシステムを実現する 0-３．コンポーネント配布プロトコル SQSは組織それぞれのニーズに応じて柔軟に導入できる

4 0-1．ネットワークの構成とユースケース

5 0-2．システム内データのライフサイクル … … 配布元サーバ 調査クライアント 調査サーバ (SFC) （それぞれの学校組織）
更新・配布 更新・配布 コンポー ネントに バンドル配布 コンポー ネントに バンドル配布 調査票の 雛形の雛形 カスタマイズ された調査票 調査票の雛形 XSLT/FO処理 実施用の 調査票表現 スキーマ・ 学校オントロジ 組織間で 束ねられた 集計データ 印刷・画像スキャン スキャン画像 データ クロール メタデータの インデクス メタデータ ・DublinCore ・RSS ・CreativeCommons ・SQS-PDCA 読み取り・集計 キャッシュ … … 個別的な 集計データ アップロード 配布元サーバ (SFC) 調査クライアント （それぞれの学校組織） 調査サーバ (教育委員会)

6 0-3．コンポーネント配布プロトコル リポジトリサーバ 調査クライアント 調査サーバ コンポーネント一次配布・ スキーマ・オントロジ配布
クライアント上に キャッシュされた アプリケーションの コンポーネント サーバ上に配布された 任意リビジョンの クライアント用コンポーネント コンポーネントのリポジトリ コンポー ネントの 配布・更新 コンポー ネントの 配布・更新 IP HTTP TCP Hardware WebDAV/DeltaV svnserve/httpd JNLP WebDAV/DeltaV リポジトリサーバ コンポーネント一次配布・ スキーマ・オントロジ配布 検索サービス 調査クライアント 調査票設計・ 調査票印刷原稿作成・ マークシート読み取り （それぞれの学校組織） 調査サーバ コンポーネント再配布・ 調査結果集計 (教育委員会)

7 システムの構成（１）：利用面から 1-1．SQS SourceEditorアプリケーション 1-2．印刷媒体による調査用原稿PDFデータ
調査手法に応じて3+1通りが用意され、それぞれの場合に応じたスキーマが選ばれ、メタデータが埋め込み済みのテンプレートが使われる

8 sqs-coreクライアントの起動 クリックすると、 インストール/更新・起動 クリックすると、 インストール/更新・起動

9 1-1．SQS SourceEditor タブで複数ファイルを 切り替え・同時編集 左画面で ノードを選択 右画面で ノードを編集
PDFなど各種形式で プレビュー・書き出し

10 1-2．SourceEditorによるPDF表現
ステープラー綴じ領域 （ON/OFF) 位置合わせ用マーク 「章・節などの見出し」 （文書は階層構造を持つ） 質問文 （下線や囲みなどの 強調表示が可能） コンパクトに配置された 質問文・マークの構造 マーク記入領域 質問番号などは自動挿入 （ON/OFF）

11 1-3．SourceEditorの利用モデル
コース：評価の目的に応じた３つのメニューに即して 質問紙の作成機能とメタデータ記述スキーマを提供する 点検型 ４段階の尺度型調査 課題発見型 重要度・満足度調査 課題改善型 重要度・満足度調査⇒ベンチマーク設定⇒ 現状値調査⇒ めざそう値・役割期待値調査 アラカルト： A), B), C)の単体利用のほか、 択一式選択・自由記述欄などのアンケート部品を 自由に選んで構成することで、質問紙を作成すること

12 A)点検型 「あてはまる」 度合いを、 4段階評価 改善にむけた 努力をしているか？ 課題を達成 しているか？

13 B)課題発見型 「満足度」 Ｘ4段階 ＋わからない 「重要度」 Ｘ４段階 「課題」の名前

14 C)課題改善型 「指標」の名前 「めざそう値」 「現状値」 社会的 グループ ごとの 役割の程度 具体的に期待する 役割の内容

15 自由なレイアウトでの アンケート紙面の デザイン
　アラカルト型 章・節などの構造 自由記述欄 章・節などの構造 選択肢式質問 自由なレイアウトでの アンケート紙面の デザイン

16 システムの構成（2）：技術面から 2-1．SQS Sourceデータ形式 2-2． PDFファイルへのOMR処理用データ埋め込み機能
SourceEditorにより編集するデータ構造は「SQS Source」という形式のXMLインスタンスのDOM構造である。SQS Sourceは、調査デバイス非依存な抽象的なデザインを行うためのもの。 2-2． PDFファイルへのOMR処理用データ埋め込み機能 SQSでは、質問紙印刷原稿のPDFの中に、OMR処理用のマーク座標データや設問スキーマなどを埋め込むことができる

17 2-1．SQS Source形式 既存の名前空間をなるべく流用する
XHTML2.0 XForms1.0 手書きのときに間違えやすいような、 冗長な記述内容は省略可能とする (後でXSLTで補完する) 調査票記述のための名前空間を独自定義する SQS2004 設問群構造化モジュール 設問レイアウトモジュール など

18 名前空間宣言 ヘッダ部分 DublinCore XFormsFormControl ボディ部分

19 調査デバイス非依存であること デバイス非依存なソース→XSLT→特定デバイス上のコンテンツを生成する
特定の調査デバイスの表現方式に依らない，調査自体の抽象的・構造的なデザインであるSQS Sourceから、以下のリストで示すようなコンテンツ形式/メディアを生成できるようにしている．なお，強調部分は，開発済み． マークシート読み取り用メタデータ入りPDF: マークシート形式で紙に印刷された調査票とスキャナ XHTMLフォーム: さまざまなWebブラウザ CHTML, MML, HDML: i-mode, ezWeb, jSkyなどの携帯電話 PDFフォーム: Acrobat ReaderなどのPDFビューワ XUL: MozillaなどのWebブラウザ XHTML+XForms: (将来の)Webブラウザ SVG+XForms: (将来の)Webブラウザ

20 拡張可能なコンテンツ変換エンジン: Pipelined/Modularized XSLT Scripts
（１）SQS Source形式を入力とし，XSLTによって， （２）調査デバイス非依存・標準準拠度の高いXHTML2+XForms1.0の形式に近い内容に変換してから， （３）XSL-FO + SVG + FOX(FOPによるFOの拡張)の名前空間を用いた印刷用中間表現形式への変換を行い， さらに， 最終的には（４）FOPを用いて生成したPDF ファイルを生成する…というような，パイプライン型の処理を行う パイプとなるひとつのスクリプトは，変換対象となるXML要素のグループごとのモジュールとして構成される スタイルシートの修正や差し換えによって表現内容を変化させたり，別メディアへの対応を増やしてゆくといった拡張が容易となっている

21 クライアント側でのPDF生成機能 SQS SourceEditorから、PDFの生成ができる。
PDF生成時のSVGレンダリング部分のコードに フックを施し、マーク位置・自由記述欄位置情報を 「PDFしおり」として埋め込む機能を実現。 PDF生成機能(FOP)は、従来は、 サーバ上でしか動かせなかったが、 パソコン上に自動的にインストールして 動作させるための技術を実現。 PDF生成用のフォントや設定ファイルが、 クライアント側に自動的にダウンロードされる ⇒　「ユーザ負担の軽減」 　　　インストール時の初期設定を行う必要がない 　　　　　「管理者負担の軽減」 　　　クライアント側で分散処理する形となるため、実質的なパフォーマンスがサーバ側に依存しない。サーバ側の投資を節減できる。

22 PDF生成のしくみ メモ帳 Wizard SFC XMLエディタ ②WebページでPDFMaker 起動用の.jnlpファイルを開く
PC ②WebページでPDFMaker 起動用の.jnlpファイルを開く Wizard Web ブラウザ .jnlpファイルへの アクセス SFC XMLエディタ ①SQSファイルを作成 JavaWebStart 起動 SQSファイル ③Drag and Drop操作 必要に応じた 最新版ソフトへの 更新 AdobeReader ④SQSファイルを FOPによりPDFへ変換 PDFファイル ⑥アンケート用紙の 　印刷 ⑤PDFファイル生成

23 2-2． PDFファイルへのOMR処理用データ埋め込み機能
SQSでは、質問紙印刷原稿のPDFの中に、OMR処理用のマーク座標データや 設問スキーマなどを埋め込むことができる 調査票を作成した後に、マーク位置などの設定をする必要がない 簡単化 作業ミスの防止

24 PDF「しおり」情報の生成

25 システムの構成（３）：集計 3-1．SQS MarkReaderアプリケーション 回答をスキャンした画像ファイル原稿を処理する
出力内容の仕様 エラー出力の仕様 3-2. 汎用ハードウェア上で運用できる OMRシステムを作る上での問題 ハードの差をソフトで埋める 3-3. 汎用ハード上のOMRシステムとしてのSQS いかにして100%？の精度を実現したか？

26 3-1.SQS MarkReader 入力 出力 ・調査票原稿PDF（PDFしおり付き） ・回答スキャン画像群 ・集計結果CSV
・自由記述欄画像群 ・処理失敗画像群 出力

27 CSV出力内容の概要 ・最終的には、このカラム名は、 CSVの1行目に書かれる。 ・設問番号・行番号・列番号などは XSLT処理の過程で
択一選択式設問： カラム名：　a [設問番号] 値：　xforms:select1/xforms:item/xforms:valueの値 複数選択式設問： カラム名：　a [設問番号]/v値 値：　boolean 自由記述欄： 値：　empty 複合型設問内の択一選択式設問： カラム名：　a [設問番号]/r[行番号]/c[列番号] 値：　sqs:select1/xforms:item/xforms:valueの値 複合型設問内の複数選択式設問： カラム名：　a [設問番号]/r[行番号]/c[列番号]/v値 複合型設問内の自由記述欄： カラム名：　a [設問番号] /r[行番号]/c[列番号] ・最終的には、このカラム名は、 　CSVの1行目に書かれる。 ・設問番号・行番号・列番号などは 　XSLT処理の過程で 　xforms:label要素の値として 　自動的に生成され埋め込まれる。 ・カラム名は、SQS内部データにおける 　xforms:ref属性として、同様に 　自動的に生成され埋め込まれる 　（XFormsモデルのインスタンスに 　　対するXpath式になる）。

28 自由記述欄 自由記述欄を、 元画像のDPIの 画像ファイル群として作成 元ファイル名-サンプル番号-設問番号.png
　手書きOCRは望めない？ 　人間が目で読んでテキスト化をしたり、 　　内容に応じてフォルダに振り分けるなどして、 　　利用をするのが現実的。　

29 エラー処理 読み取り失敗した内容を、画像ファイル群として作成し、ビジュアルにエラーの詳細を報告 例：ダブルマークの警告画像ファイルの一部
元ファイル名-サンプル番号-設問番号-エラー名.png 例：ダブルマークの警告画像ファイルの一部

30 3-2. 汎用ハードウェア上で運用できる OMRシステムを作る上での問題
白黒で，普通紙に印刷されたマークシート (ドロップアウトカラー機能などの無い)汎用の光学スキャナやFAXソフトなどの読み取り機器 SQSは、特定の機器や用紙を指定できない＝ハードウェアごとの品質や方式の差異を、 ソフトウェアの工夫で埋めなければならない： スキャン画像の背景が白枠・黒枠の両方の場合があり得る ドロップアウトカラーなどの光学的な支援がない 出力される画像ファイルのフォーマット・解像度・色深度が多様である 傾きやゆがみの補正・明るさ調整・ノイズ除去などの機能を自前で用意する必要がある

31 3-3. 汎用ハード上のOMRシステム としてのSQS
ほぼ100%？の実用的な読み取り精度を実現 スキャン時の歪みやノイズに左右されない正確な認識ができるように，読み取り相対位置を設定するための大型のガイドマークを，ページ上下端に挿入する． 水平方向に一定以上の長さで白または黒のピクセルが連続したものが一定回数以上切り替わること，などの条件により，ページ上下のガイドマークの座標を抽出する． 上下のガイドマークの両端の座標をもとに，二次元射影変換を行い，スキャン画像上におけるマーク位置や自由記述欄の読み取り座標を決定する． マーク読み取りの前処理として，3x3の平均化/2値化フィルタにより，黒点・白点ノイズの除去と，線状ノイズの細線化を行う． 設問型情報を利用し，択一式選択などのダブルマークのチェックをするなどの回答内容の検証を行う

32 4. 適用事例 慶應義塾大学ORF２００３(2003/11/20,21@六本木) 回収103ｘ8ページ 宮城県教育委員会：学校評価アンケート
2003年度：迫桜高等学校など１０校 2004年度：３０の高等学校・養護学校 １校あたり約2000名x2～8ページ程度の実施 大阪府教育委員会：学校評価アンケート 2003年度：東野勢小学校　 東京都足立区教育委員会：五反野こども未来プロジェクト 2003年度：五反野小学校 2004年度：小学校１０校程度を予定 京都府： 2003年度：京都府御所南小学校：学校評価アンケート その他自治体単位・個別学校単位での実験が進行中 Web上からの一般利用者への利用の公開

33 5.メタデータについて SQS Sourceの雛形にDublinCoreによるメタデータ記述欄を導入済み。
SQS Sourceの雛形にCreativeCommonsによるファイル再利用に関するメタデータ記述欄を導入予定。 SQSによる調査メニュー3+1タイプごとのメタデータについて設計中。

34 こどもが地域の人々によって支えられていると実感できること 友達や知り合いにこどもが自分から元気に挨拶をすること
メタデータを活かした集計の例： 「重要度・実現度調査」 2003年9月実施 東京都足立区 五反野小学校 こどもが地域の人々によって支えられていると実感できること 実現度・高 友達や知り合いにこどもが自分から元気に挨拶をすること 実現度・平均 重要度：高 実現度：低 重要度・高 重要度・平均

35 メタデータ記述方式の提案 アンケート質問構造＝メタデータ 質問項目作成者 アンケート分析者 アンケート回答内容＝データ 誰が？ いつ？
質問項目作成時 （アンケート前） アンケート分析時 （アンケート集計後） 何を？ 質問内容に関するメタデータ 　質問の背景、仮説との関連について 　関連キーワード 　調査対象者 　作成者 　作成日時 　など 分析結果に関するメタデータ 　分析の観点、仮説の適合性について 　回答者（有効回答の割合） 　分析者 　分析日時 アンケート回答内容＝データ

36 ６．今後の課題 評価をどうする？研究的主張の柱をどこにする？
事務的作業の効率化については、定量的に示せるが、学術的貢献としては、たいしたことはない。でもやらないよりはマシ。 クライアントが設定不要である点、要所要所がXMLにより拡張可能である点などで、定性的に長所をアピール？ 補足的実装作業が必要。 UIについて、重要な部分（どこ？）は、学生被験者を対象にユーザビリティテストを行う？統制グループ１（実装A→実装Bの順で利用）と、統制グループ２（実装B→実装Aの順で利用）の作業ログ分析、事後アンケートで比較。 メタデータ記述方式の「第三の道」っていうのはアリだろうか？

37 学校教育サービスの評価から、 新しい評価パラダイムの提案へむけて
■SQSの背景 学校教育サービスの評価から、 新しい評価パラダイムの提案へむけて

38 学校教育サービスの特性 ・自律分散的に活動する主体による提供 ・多様な役割分担
全国で：　約35000の小中学校／約3300の市町村 / 　　　　　　　　　　　　　　　　　　　　　　　　　47の都道府県 　　　（共通の制度、特質、活動実践…） 地域で：　多様な担い手間のパートナーシップによる供給 　　　　　　　（PTA、地域コミュニティ、町内会、行政機関、NPO、民間企業…） 独自・固有のガバナンス構造、意思決定、改善活動、 　　　　　　　　　　　　　　　　　　　　　　　　　　　情報環境 ・多様な役割分担 → 自律・分散・協調を支援する「次世代メディア・知的社会基盤」の重要性

39 多様な役割分担 自律分散的に活動する政策供給主体 → いかに効果的な協調環境を構築するか？
公共的課題の解決には、 政府が 何かの施策をすればOK？ 政府だけではなく、 多様な主体（NPO、企業、市民…） による実践と連携も必要 学校教育の課題の解決には、 学校が（教員・校長・教育委員会…） 何かをすればOK？ 学校だけではなく、 多様な主体（保護者、地域コミュニティ、　　 　町内会、地元の商店、NPO、行政機関…） による実践と連携も必要 昨今の社会では、公共的課題を解決するためには、政府が何かをすればOKというわけではない。 企業、NPO,一般市民たちが幅広く参加し、相互の活動を連携することで、はじめて、 地域の課題を解決することができる。 では、学校はどうか。学校が、教員が、校長が、教育委員会が何とかすればOKというわけではない。 教員や教育委員会はもちろん、児童生徒、保護者、近所のおじさんおばさん、町内会、周辺の学校、地元の商工業、農林水産業、公民館を利用したサークルや伝統的なお祭り、いろいろな社会的役割主体の参画・協調が不可欠。 多様な関係者による影響の下で、学校のガバナンスを、どのように進めていけばよいか。 従来と比べて、手を差し伸べてくれる、助けてくれる人が増えたと言えるかもしれない。 逆に、いろいろ口を出して邪魔をしてくるような人が出てくるかもしれない。 深く関わってくれる人もいれば、浅い関わりだけに留まる人もいるだろう。 自律分散的に活動する政策供給主体 （独自・固有のガバナンス構造、意思決定、改善活動、情報環境をもつ） 　→　　いかに効果的な協調環境を構築するか？

40 ガバナンスのネットワーク構造の変化 中央集権的（階層的関係）による一元的な コントロールの限界 単なる「水平的関係」のみでは難しい品質管理
「階層的関係」 「多中心的関係」 「水平的関係」 中央集権的（階層的関係）による一元的な コントロールの限界 ニーズの多様性 多様な主体による自律的な活動の重要性向上 単なる「水平的関係」のみでは難しい品質管理 品質の持続的な向上の追求 かつては、中央が地方を統括した。税金、補助金、各種の法律や通達。 世界はシンプルだったので、中央が地方を統治すること、地方が中央に支配されることには、 ある意味では合理性があったとすら言える。 だが、今日。 中央には地方をケアする能力も体力もなくなってきている。ヒエラルキーが機能不全を 起こしている。地方には、自分で自分をガバナンスする、自律をする必要が生じてきている。 とはいえ、単にフラットで無構造な関係の中で、徒手空拳で自律することはできない。 中央に依存するのとも違う、これまでとは違った意味でのネットワークのつくりかたを しなければならない。具体的には、自分と対等な相手、ピアと、分散協調の関係をむすぶことで、 セルフ・ガバナンス、相互的ガバナンスを行うことが必要となる。

41 継続的に事業内容を 改善してゆくための、 一連の活動の指針
PDCA Circle Plan Check Do Action Act 継続的に事業内容を 改善してゆくための、 一連の活動の指針 とりわけ「Check:評価（調査）」が重要 One of the key concepts of TQM is continuous quality improvement. As early as 1939 WA Sheward defined the Plan-Do-Check-Act (PDCA) circle for continuous quality improvement. 「誰が」「何を」「いつ」「どのように」評価するのか？ そのための費用負担は？ 評価の結果が次のステップで改善に活かされなければ意味がない！

42 教育組織の「評価」をとりまく課題の検討と、 その解決に向けた社会実験
新しい「評価」スタイルの提案 教育組織の「評価」をとりまく課題の検討と、 その解決に向けた社会実験 脱却すべき、旧態依然とした評価： 画一的な評価 主体性のない評価 フィードバックパスの明らかでない評価 新しい「評価」スタイルの提案： 「自律分散的な評価」 「評価コモンズ」の構築

43 ■資料

44 SQSに必要な環境（１） ソフトウェア ハードウェア Java2 実行環境(JRE1.4.2_04以降を推奨)
JavaWebStart(拡張子.jnlpへ関連付けがされていること) Web ブラウザ (Internet Explorer6.0等) ハードウェア インターネットへの接続性 80番(http)、４４３番(https) でのTCP接続 原稿印刷用プリンタ 原稿印刷のために400dpi程度の品質が必要 印刷機器 枚数削減のため、両面印刷ができることが望ましい 用紙は再生紙でもかまわない （薄すぎる用紙はスキャン時に問題となる場合がある）

45 SQSに必要な環境（２） ADF(自動紙送り装置)つきスキャナ Panasonic KV-S2026CN
USB2.0またはSCSI接続 読み込み速度20枚/分、ADF100枚 販売価格：約15万円 または PFU ScanSnap fi-5110EOX USB2.0接続 読み込み速度15枚/分、ADF５０枚 販売価格：約45,000円 そのほか、ADFスキャナ機能を持つ複合コピー機や FAXソフトウェアなどにも対応可能

46 SQSホームページの一般公開 http://sqs.cmr.sfc.keio.ac.jp/
２００３年７月に開設 ２００３年１月 　　マニュアル提供開始 ２００４年２月 　　リニューアル、 　　一般向けに 　　テスト利用環境の 　　公開を開始 ２００４年３月 　　ソースコード公開を 　　開始

47 開発過程の公開・ソフトウェア配布