Shared Questionnaire System 2.0 の開発

Presentation on theme: "Shared Questionnaire System 2.0 の開発"— Presentation transcript:

1 Shared Questionnaire System 2.0 の開発
IPA 2007年度I期「未踏ソフトウェア創造事業」竹田PM Shared Questionnaire System 2.0 の開発 久保 裕也 千葉商科大学 政策情報学部　専任講師 慶應義塾大学 SFC研究所 上席研究員

2 おしながき ＳＱＳとは？ SourceEditor1.0-backport MarkReader2.0（進捗率80%）
これからのこと

3 「SQS」で検索 してください。

4 http://sqs. jp/ 「鍼灸接骨総合サイト」 vs http://sqs-xml. sourceforge
「鍼灸接骨総合サイト」 vs [Shared Questionnaire System]

5 この後のデモ・実験に、 ご協力いただける方： 「ＪＲＥ6」の インストールを、お願いします。
ＳＱＳのホームページ上に JRE6ダウンロードページへのリンクを作成しておきました。 MacOSX用のJDK6は、Developer登録をすると ダウンロードできるらしい。

6 自己紹介 ここまでの歩み

7 よく、「くぼ ゆうや」と間違われる。 それは巨人のピッチャーだっつーの。
名前： 久保裕也 (くぼ ひろや) よく、「くぼ　ゆうや」と間違われる。 それは巨人のピッチャーだっつーの。

8 略歴（１） 慶應SFC出身。 公共・非営利組織経営、 コミュニティ論、 インタラクティブ・アート、 Web、XML、 オブジェクト指向、分散システムなどなどに興味を持つ。

9 略歴（２） 日本で8番目のWebサーバの管理者。 http://www.sfc.keio.ac.jp/の 初代Webマスター。
坂本龍一さんのプログラマ、 ITベンチャー社員 (後にYahooにより買収)、 慶應COE研究員などを経て、 現在、 千葉商科大学　専任講師、 慶應義塾大学ＳＦＣ研究所上席研究員。

10 がんばって ＳＥＯしてます！ http://sqs-xml.sourceforge.jp/
ドメイン名の中に含まれるマイナス記号が 悪影響しているのではないか、 などと思ったりする今日この頃。 を取るか？

11 SQSとは何か？

12

13 XMLファイル（XHTML/XForms） マーク読み取りツール MarkReader
問題意識・仮説 調査結果・情報公開 XMLファイル（XHTML/XForms） アンケート設計ツール SourceEditor CSV形式ファイル 自由記述欄画像ファイル 集計結果 表形式データ XSL-FO処理 マーク読み取りツール MarkReader 印刷原稿PDF アンケート 印刷原稿PDF アンケート 回答用紙 調査票スキャン 画像フォルダ/ 画像ファイル 印刷原稿PDF 印刷・配布・ 回答・回収

14 共有された調査支援システム・調査票の共有システム
「正」の字を書いてアンケートの集計をするのにウンザリしてませんか? 調査票を作るのに苦労していませんか? SQS(Shared Questionnaire System)は、「普通紙マークシート方式による調査票作成・読み取り集計ソフトウェア」です。 SQSを利用するためには、特別な機材は必要ありません。 PC、白黒プリンタ、ドキュメントスキャナがあればOKです。 SQSは、小中高校の先生などをエンドユーザとして、全国的な導入が始まっています。 インストール・利用は、とっても簡単です。 SQSは、無償・自由な利用が可能です(ApacheLicense)。

15 SQSの歴史（１） 2003年8月28日，慶應義塾大学21世紀COEプログラム 次世代メディア・知的社会基盤における研究活動として，「学校評価支援システム」開発プロジェクトが始動． 2003年12月，慶應義塾大学と宮城県教育委員会との 「学校評価支援システム」共同研究事業において， 初期バージョンのSQSを実験的に導入開始． 以後，各地の自治体での導入が波及． 2004年2月，オープンソースプロジェクトとしての 活動を開始．sourceforge.jp上にプロジェクトを作成． 2004年8月，初のメジャーリリースである 「sqs-core2004」系列の公開を開始． 2005年2月，ちくま新書「学校評価--情報共有の デザインとツール」を上梓（久保は著者の一人）．

16 SQSの歴史（２） 2005年8月，「sqs-core2005」系列の公開を開始．
2005年10月， JavaOne Tokyo2005 Night for Java Technologyに、 ファイナリストとして出場．

17

18 SQSの歴史（３） 2006年12月，情報処理学会など3学会が主催した「第１回 情報社会のデザイン シンポジウム2006」にて優秀論文賞を受賞． 2007年4月，SQS2.0の開発をテーマとして，経済産業省/IPA 2007年度I期竹田正幸PM「未踏ソフトウェア創造事業」に採択． 2007年8月28日，SQS 4th Anniversary． これより5年目を迎える． 「SQS2.0」系列の公開を開始．

19 ４年間、いろいろあった…… ５年目からも、がんばります。
４年間、いろいろあった…… ５年目からも、がんばります。

20 SQS1.0 SQS SourceEditor SQS MarkReader 調査票の雛形（調査手法）の選択 調査票の論理的構造のデザイン
各種メディアに対応した 調査票表現の生成 SQS MarkReader 普通紙マークシートでの調査支援 集計処理の自動化 簡易的な分析機能の提供

21 SQS2.0 SQS SourceEditor2.0 SQS MarkReader2.0
eXsed : 自己記述的に 拡張可能なXMLエディタ (eXtensibility by Self-Description) SQS MarkReader2.0 eXigrid: Pure P2P分散並列 画像処理のためのグリッドフレームワーク (eXtensible Image Processing Grid)

22 SourceEditor 1.0-backport
「素人にも利用しやすい」 ＸＭＬエディタを核とする 調査票エディタ

23 クリックすると、 インストール/更新・起動

24 起動までの手順 Ｗｅｂブラウザからの アクセス ＪＮＬＰファイルのダウンロード・解釈 アプリケーション起動 またはデスクトップ上からの起動
必要に応じて： ＪＲＥの取得・インストール 必要なjarファイル群のダウンロード Jarファイルのコード署名証明書の承認 デスクトップアイコン・メニューの作成の確認 アプリケーション起動

25 参考： コード署名証明書の購入： Verisignの場合
コード署名証明書を購入して維持していくためは， 毎年，94,500円の料金を振り込み，毎年，実在証明のための登記簿謄本や印鑑証明などの書類を送付し，毎年，責任者のところにかかってくる電話待ちをしてもらう段取りをする，といったコストがかかる． Verisignの場合，個人や任意団体に対しては，コード署名証明書を販売していない． 多くのオープンソースプロジェクトには，法人としての組織実体が無いので，少なくともVerisignからは買うことができない．

26 Ｗｅｂ上から、 「.sqsファイル」をダウンロード
ＳＱＳホームページから 「ドキュメント」のページをアクセス。 さらに、上から３つめ、 「サンプルファイル」 SQS SourceEditorで利用・生成されるファイルのサンプル をアクセス。 「SQSを用いた調査票を作成実習のための素材」のうち、 　「SQS Sourceファイル」を、デスクトップに保存。 このファイルを開いてみると、XHTML2.0+XForms1.0の内容であることが分かる。

27 XForms ※FormControl部分のみ
DublinCore ＋ XForms ※FormControl部分のみ XHTML2 いろいろ ∥ 調査文脈・調査過程 記述言語 “SQS Source”

28 SourceEditor画面上に、 「.sqsファイル」をDrag&Drop
ココへ！

29 アウトライン上 での選択で、 「編集対象ノード」を指定して編集(undo/redo) 編集用GUIは ノードの種類 ごとに作成・ 入れ子状に 表示内容が 編成される タブで複数の ファイルを 切り替え・ 同時編集 （ファイルを超えた Cut/copy&paste） アウトライン 形式で 階層的に ノードを表示・ 選択・編集 (cut/copy&paste)

30 画面構成 左側： ノードツリー画面 右側： ノードエディタ画面

31 編集要素と出力結果の対応 見出し 段落 注意書 設問

32 ノードエディタの選択方法 SourceEditorに 組み込まれた ノードエディタの カタログ
Key:　XMLのパターン※ Value:　ノードエディタ SourceEditor利用者によって選択された ノード群(「DOM構造の部分木」のリスト) 選択されたノード群に対する ノードエディタの リスト 対応するノードエディタが存在しない場合には、SourceEditorが自動的に 生成したノードエディタを 対応づけられる ノードエディタは、 ノードの親子関係に応じて 入れ子状に構成・配置される ※現在の実装では、ＸＭＬパターンは、 単一階層の「名前空間：要素名」にマッチする

33 ＰＤＦで印刷原稿をプレビュー 127.0.0.1でローカルな Webサーバを起動し、
動的に生成したコンテンツに 適切なContent-Typeを付けて 渡すことで、Webブラウザの 設定を通じ、環境非依存的に ファイルを表示できる。 ＰＤＦ生成には、Apache FOP (XSL-FO: TeXに類似のXML電子組版エンジン)を 利用。

34 ＸＳＬＴによる変換 XHTML｛ XForms｛ SQS ｝ ｝
XHTML｛ XHTML Table｛ XForms Select｛ SQS ｝ ｝ XHTML｛ XHTML Table｛ SVG｛ SVG Metadata｛ XForms ｝ ｝ FO｛SVG ｛ SVG Metadata｛ XForms Select ｝ ｝ ｝ PDF + SVG Print｛ SVG ｛ SVG Metadata｛ XForms Select ｝ ｝ ｝ XForms対応 ブラウザでの利用に。 XForms要素を表組みでレイアウト・ 設問をcheckbox型にフラット化 旧来のＨＴＭＬフォームへの 変換元となるものとして。 XForms要素をSVG形式に変換 (もともとのXForms要素を 　SVG Metadataとして保持) Page mediaでのXForms実装はＳＱＳ以外には存在しない。そこで 実装上の作法を、独自に提案。 ＦＯボキャブラリはマイナー。 ＨＴＭＬでいけるところは、 なるべくＨＴＭＬで。 XHTML要素をFO形式に変換 ページ構造に流し込み FOをＰＤＦ形式に変換 別途、SVG Print形式データの雛形を作成し、Metadataを格納 FOのＰＤＦレンダラをhackして、 SVGを配置するPDF座標を横取りし、 対応するSVG Print形式データを完成、ＰＤＦに添付

35 生成されたPDFへの添付ファイル 生成された PDFファイル .sqmファイル : SQS Master
　　　調査票からマーク欄・自由記述欄を 　　　抽出して処理するためのデータ .sqsファイル : SQS Source 　　　このPDFファイルの元となった 　　　調査票定義データ クリックすると、 添付ファイル一覧 が表示される

36 .sqmファイルの中身： SVG Print + svg:metadata
<svg:svg …> <svg:pageSet> <svg:masterPage> <svg:metadata> … </svg:metadata> <svg:page> <svg:g> 　</svg:metadata>

37

38

39

40 画像処理タスクの分散並列化を行う イントラネット用グリッドを核とする マークシート読み取りアプリケーション
MarkReader2.0 画像処理タスクの分散並列化を行う イントラネット用グリッドを核とする マークシート読み取りアプリケーション

41 Drag&Dropで入力 Ｓｏｕｒｃｅ フォルダ ココへ！ 処理 出力 index.html Ｒｅｓｕｌｔ フォルダ

42 Ｓｏｕｒｃｅフォルダの内容 調査票の印刷原稿 として用いた
１ページ１ファイルで 調査票の画像をスキャン 「名前で並べ替え」ると、 回答者順・ページ順に並ぶようにする まとめてひとつの フォルダに入れる 　調査票の印刷原稿 　として用いた 　「PDFファイル」を 　　集計用のタネとして 　　フォルダに同梱する 回答者一人分は、 連続したファイル名 になるようにする

43 Ｒｅｓｕｌｔフォルダの内容 フォルダ内の ファイルの目次
★ＭａｒｋＲｅａｄｅｒ 　での処理後に： このフォルダ内の画像から 切り出された自由記述欄 index.html Ｓｏｕｒｃｅのフォルダ名に-RESULTを付けたフォルダ名で、 同じ階層に作成される このフォルダの 選択式設問の回答を集約した 表形式データ

44 SQS MarkReaderからの出力 自由記述式設問 ⇒画像ファイル 　として切り出し (自動) ⇒文字データに 　打ち込み直し (手作業)

45 SQS MarkReaderからの出力 択一選択設問 →円グラフ(自動生成） 複数選択設問 →棒グラフ(自動生成）

46 バッチ処理(1)： 異なる種類の調査票の一括処理
まとめてひとつの フォルダに入れる H19年度 期末試験/国語の試験 数学の試験 英語の試験 H19年度 期末試験 国語の試験 「国語の試験」の印刷原稿として用いた「PDFファイル」 集計用のタネ

47 バッチ処理(1)： 異なる種類の調査票の一括処理
フォルダ内の ファイルの目次 このフォルダ内の画像から 切り出された自由記述欄 フォルダ内の ファイルの目次 index.html index.html 数学の試験 英語の試験 H19年度 期末試験-RESULT 国語の試験 このフォルダ内の 選択式設問の回答を 集約した 表形式データ

48 バッチ処理(２)：同じ種類の 調査票の階層ごとでの処理
まとめてひとつの フォルダに入れる 国語の試験/3年C組 ３年Ａ組 ３年Ｂ組 国語の試験 ３年Ｃ組 　調査票の印刷 　原稿として用いた 　「PDFファイル」 　　集計用のタネ

49 バッチ処理(２)：同じ種類の 調査票の階層ごとでの処理
このフォルダ内の画像から 切り出された自由記述欄 フォルダ内の ファイルの目次 index.html ３年Ａ組 フォルダ内の ファイルの目次 ３年Ｂ組 index.html 国語の 試験-RESULT ３年Ｃ組 このフォルダ以下の 選択式設問の回答を 階層的に集約した表形式データ このフォルダ内の 選択式設問の回答を 集約した 表形式データ

50 以前の処理結果を活かした 「差分的処理」 Resultフォルダ内の、 隠しフォルダ以下にキャッシュを作成：
前回までの処理結果を キャッシュとして保持。 メモリ消費量の低減。 大規模調査に対応。 次回以降は、Sourceフォルダ内で更新されたものだけを 差分的に処理。 処理の効率化・高速化をもとに、Sourceフォルダの 監視・随時処理モードを実現。 index.html ３年Ａ組 ３年Ｂ組 国語の 試験-RESULT ３年Ｃ組 .cache

51 「学校のコンピュータ教室など、 　ＰＣがたくさんある部屋をつかって、
　MarkReaderをたくさん起動すると、 　グリッドで分散並列処理してくれたら、 　いいのになぁ…」

52 P2P方式で実現しました。 ※マスタとスレーブを同じプロセス内に実装
マスタ： マルチキャストでセッション広告・鍵を配布。 分散BlockingQueueにPageTaskを詰め込んだものを、 RMIサービスとして公開。 PageTaskを、リース時間をつけてタスクとして供与、 リース時間が切れたら再リース。 スレーブ： マルチキャストされる広告をもとにマスタを発見、 RMI接続。 セッション鍵を用いて、マスタ上の分散BlockingQueueを共有。 polling して PageTaskの取得ができるまで待つ。 PageTaskを取得したら、求められた処理を実施し、 そのマスタに結果を返却。 一定時間、マスタからの反応が無い場合には接続を切る。

53 グリッド化のメリット MarkReaderを複数台のマシン上で起動しておくと、 マシンの台数に比例して処理速度が高まる。処理速度の上限は、主として、マスタとなるマシンのハードディスク書き込み性能に依存する。 マスタとスレイブの役割関係は固定的ではなく、セッション処理状況によって動的に変化していく。 グリッド内のMarkReaderがセッションを解しするとマスタになる。 任意の複数台のマシンそれぞれがいつでも同時にマスタになれる。 それ以外のマシンはスレイブとして仕事を分担する。 こうしたグリッド内でマスタとスレイブは、相手と自分の状況やネットワーク切断状況を検知しながら、賢く自律的に動作する。

54 マスタ スレーブ Engine PageTaskProducer PageTaskQueue ResultManager
PageConfig マスタ スレーブ PageMaster Engine PageTaskProducer PageTask ResultEvent PageTaskQueue ResultManager ResultEventSource MulticastAdvertisementService SessionService ResultEventFilter ResultEventHandler RMI ResultEventHandler multicast group ResultEventHandler MulticastDiscoveryService PageTaskExecutorManger PageTaskEventExecutor PageTaskEventExecutor PageTaskExecutor

55 汎用XMLエディタを 自己反映的に拡張可能なXMLエディタを
SourceEditor 2.0-dev 汎用XMLエディタを 自己反映的に拡張可能なXMLエディタを

56 eXsedの中核技術 XAR : eXsed Annotation for RelaxNG XGUIML（仮） XARtoXGUIML
RelaxNG文書内のRelaxNGパターンの子要素として記述するannotation情報。そのパターンをGUIで編集する際のGUI生成用属性を記述する。 XGUIML（仮） XMLを用いてGUIを記述するための言語・GUIレンダリングエンジン。 XUL, Thinlet, SwiXML, XAML, xfy などで、先行事例多数。 独自に開発するか、いずれかの実装を組み込で利用するかは要検討。 XARtoXGUIML XSLTスクリプト。RelaxNG+XARをXGUIMLに変換する。 このとき、XARは最低限もしくは全く記述されていなくても、 最低限のXGUIMLが生成できるようにする。 Vocabulary Connection/ｘｆｙに類似（対象のメタレベルが異なる）。

57 eXsed(えくせっど）：自己記述的に拡張可能なXMLエディタ

58 XMLインスタンスの編集・ XMLスキーマの指定

59 XMLスキーマ内に GUI用アノテーション（XAR)を埋め込み
（必要に応じて） Convention Over Configuration

60 XARtoXGUIML: XSLTで(RelaxNG＋XAR）を変換し、 XMLによるGUI定義を生成
Code Generation XSLT

61 XGUIML: XMLによるGUI定義により、 XMLエディタ機能を実現

62 自己記述：エンジン内部動作用のXML インスタンスをも、編集可能とする

63 ＳＱＳのコンセプト ２種類の「共有」

64 SourceEditorとMarkReaderを 「キラーアプリ」として、 インストールベースを、 地道に、ひたすら稼ぐ。
(トロイの木馬的な戦術) SourceEditorとMarkReaderを 「キラーアプリ」として、 インストールベースを、 地道に、ひたすら稼ぐ。

65 2種類の「共有」の導入 １．「アンケートシステム」の共有化 × ２．「調査票の共有」のシステム
Shared　Questionnaire　System １．「アンケートシステム」の共有化 オープンソース・ソフトウェアとしてのSQS × ２．「調査票の共有」のシステム 　　オープンな調査コンテンツの処理系としてのSQS

66 共有：流通・再利用 ネットワーク経由で取得した「調査票の本文」を、コピー・貼り付けしたり、一部を書き換えたりすることで、簡単に新しい「調査票」を作れるようになる。 社会的に調査ニーズの高い・品質の高い調査票が、繰り返し使われることで、より洗練されるとともに、その調査結果が蓄積し、客観的な評価のための比較に用いることができるようになる。

67 「アンケートシステム」の共有化 オープンソースソフトウェアとしての開発提供
要求：学校現場によるボトムアップな「カイゼン」 学校ごとの目標設定 校長を中心とした現場マネジメント 地域の特色を活かした学校づくり 　　→　現場組織の自律性・主体性を活かした学校カイゼン 解決方針：JavaWebStart(リッチクライアント)でのバイナリ配布 サーバ側での処理内容の軽減 クライアント側での利用内容の「リッチ」化 オープンソース実装のリッチクライアント化 →　「いつでも・どこでも・だれでも使える」システム 実施内容：開発コスト・再配布コスト削減 Apache License Version 2の採用

68 「調査票の共有」のシステム オープンな調査コンテンツ処理系
要求：調査コンテンツの社会的共有の促進 →　末端の現場組織のタコツボ化を防ぐ 　　　オープンなカイゼン知識の共有 教育委員会などによる調査票の雛形配布、調査項目の一部共通化 学校の説明責任としての調査票データ(調査プロセス)の公開 解決方針：調査コンテンツを記述するスキーマのオープン性の実現 　 →　プロプライエタリではない、標準スキーマ・語彙の採用 XHTML, XForms, XSL-FO, SVGなどのXML標準 内部的仕様を公開することで、コンテンツと処理系それぞれの部品化・再利用を促進 実施内容：処理系のオープンソース実装の開発と提供 　→　コンセプト実証・参照用実装として利用

69 学校評価の役割の3層構造化 調査手法 （調査の手法・ 調査項目の雛形）の提供 調査票 調査結果 それぞれの 学校現場
調査手法 （調査の手法・ 　調査項目の雛形）の提供 文科省・教育委員会・ 大学・研究機関・NPO それぞれの 学校現場 （学校評価の実施担当教員・ 　校長・教頭） 学校評価への回答者 （教職員・児童生徒・ 保護者・地域住民など） 課題への取組を共通化・ 特色化 調査票 （何を・どのように 　調査するのかの 　デザイン）の記述・調査実施 調査結果 （回答内容・ 　現実はどうなって 　いるのかのデータ）への反映

70 ユーザインタビューによる評価 SQSを用いて、学校現場の特殊性を踏まえた、 高効率な学校評価が支援されている
一般の学校教職員（程度）のITリテラシでも利用可能 学校LANの特殊性・閉鎖性に対応 安価で汎用の機材、既存の設備の上で動作 トップダウン・ボトムアップの組み合わせを実現している 近隣の学校同士の横連携による利用支援体制を実現 学力試験での利用など、学校評価以外の「目的外使用」に積極的に対応することで、ボトムアップな現場での利用の「動機」が確保されている 現場での調査リテラシの向上に寄与している 現場での「カイゼン」の機会と意欲を高めている ※宮城県高等学校教諭６名に対するフォーカスグループインタビューとして実施

71 文部科学省行政への反映 2005年9月：中央教育審議会・義務教育特別部会（第33，34回）
「科学的な手法」であるというコメントを受ける。 2006年4月：「学校の第三者評価等に関する研究計画に関わる事業案の公募」 文部科学省からのヒアリングを受け、募集内容に影響を与える。 「事業成果物はフリーソフトウェアとすること」との文言が盛り込まれる。 2006年8月：「学校評価ガイドラインに基づく評価実践研究推進地域及び協力校の指定」・「コンピュータ等を有効に活用した効果的な処理方法の研究」部門 岩手県奥州市における「学校評価の事務的負担を軽減する「学校評価支援システム（SQS)」の有効な活用と普及・拡大」が採択される。

72 SQS2.0の意義 eXsed, eXigrid いずれも、SQSとは独立の、 ソフトウェアとして有効に利用され得る。
XML、P2Pの潜在力を引き出す SQS2.0の実装は、eXsed, eXigiridのメリットを最大限に活かす形となる。 共有と再利用の効率化、運用のカジュアル化 SQS2.0をきっかけに、社会が変わる。 ボトムアップな「データ経営」の考え方が普及する マニフェストにもとづく地方自治・市民自治が実質化する

73 終了後の展望 XML → Paper Test + Web Based Test 分散的な自由記述欄のテキスト化・ソーシャルブックマーク化
紙の上でもE-learningを学べるようする 分散的な自由記述欄のテキスト化・ソーシャルブックマーク化 災害時の被災者支援情報共有など 次世代Semantic Webにおける大規模確率推論のデータソース 実際の社会調査に基づいて「風が吹けば桶屋が儲かる」かどうかを検証

74 文部科学省・学校評価 対応機能 文部科学省・教育委員会が作成・配布した調査票の一部について、XML署名を施すことで、その部分の「変更禁止」を指定できる。 SourceEditor上で、「変更禁止」に対応する。 MarkReader上で、「変更禁止」に関わる部分を集約して集計し、その結果を、「変更禁止」部分の属性としてあらかじめ設定されたサーバへ自動的にアップロードする機能を実現する。

75 商品版SQSの構想 SourceEditorに、 MarkReaderに、 Ｗｅｂ対応機能として： Webサービスとして：
商用TrueTypeフォント(ないしIPAフォント)を組み込む。 調査票のWYSIWYGエディタを開発し統合する。 試験問題の作成機能を開発する。 MarkReaderに、 手書き文字OCR機能を開発する。 試験問題としての集計・成績評価機能を開発する。 Ｗｅｂ対応機能として： Webアンケート作成・集計機能 大規模分散人力OCR機能 Webサービスとして： 調査票ソース、集計結果データ、公開用レポートのリポジトリサービス。 政策課題をキーに、ベンチマーキングのための調査票ソースや比較対照用データを検索できるような、SemanticWebを応用したコミュニティサービス

76 SQSホームページ ありがとうございました http://sqs-xml.sourceforge.jp/ 開発ブログ
ありがとうございました