平成１９年５月19日 第3版 東京大学理学部生物化学図書室 前田 朗

Presentation on theme: "平成１９年５月19日 第3版 東京大学理学部生物化学図書室 前田 朗"— Presentation transcript:

1 平成１９年５月19日 第3版 東京大学理学部生物化学図書室 前田 朗
「ことわけWeb」 内部仕様書 平成１９年５月19日　第3版 東京大学理学部生物化学図書室 前田　朗

2 コンテンツ システム構成 基本データ型 モジュール化する部分 URIの設計 システム構成と、個々について簡単に説明
各モジュール間でのデータの受け渡しに使う仕様をまとめたもの。 モジュール化する部分 URIの設計

3 Lighttpd (with FastCGI)
第１章．システム構成 TermExtact ほかPerl モジュール Ｃａｔａｌｙｓｔ（Ｐｅｒｌベースの Webフレームワーク） 茶筅 MySQL （RDB) オリジナル Perlコード Algorithm:: Cluster Template Toolkit によるHTML雛形 インターフェイス Cプログラム 連想検索エンジン GETA Lighttpd (with FastCGI) 赤のブロックが要作成のコード 緑もSQLでＤＢを要構築

4 Lighttpd Ａｐａｃｈｅより軽量（高速）なWebサーバプログラム FastCGIとの組み合わせで高速レスポンスを目指す

5 Catalyst PerlベースのWebフレームワーク MVCモデルの実装(ModelとViewは選択可能)
MVCモデル(Model, View, Controller の分割）によるWebアプリケーションが作成可能 Perl版”Ruby on Rails”ともいわれる MVCモデルの実装(ModelとViewは選択可能) Model --- MySQL Vew TempleteToolkit Controller -- Perl

6 MySQL オープンソースのリレーショナルデータベース バージョン 5 を使用 UNIXユーザ mysql で動作させる
バージョン　5 を使用 UNIXユーザ mysql で動作させる MySQLユーザ termcluster データベースtermcluster テーブルは3種（詳細は別紙） プロジェクト・テーブル (Project) 文書テーブル (Document) クラスタ・テーブル(Cluster)

7 TermExtact 「言選Web」のコアである専門用語自動抽出Perlモジュール 「茶筅」（形態素解析器）と連携して専門用語抽出を使う
重要度のオプションに、TF(Term Frequency)を使う

8 GETA ＮＩＩが開発した、連想検索エンジン。クラスタリング用のC言語ライブラリ(libcs)も付属しており、これを使う。

9 Algorithm::Cluster C言語のクラスタリングライブラリ”Cluster 3.0”のPerlインターフェイス
GETAでは実装していない、K-means法やSOM(自己組織化マップ）が作成できる 単語文書行列をPerlの２次元配列の形で用意する必要がある ＧＥＴＡと違い、TF*IDFの処理を自分でコーディングする必要あり。

10 第２章．基本データ型 MySQLのデータベーススキーマ 文書中の用語と頻度(TF)のリスト クラスタリング結果
プロジェクトテーブルと文書テーブル 文書中の用語と頻度(TF)のリスト クラスタリング結果

11 クラス図 プロジェクト 文書 １ 0..* クラスタ １ 0..* [脚注] クラスは、RDBのテーブルにて表現 プロジェクトＩＤ
文書名 テキスト本文 用語リスト プロジェクトID プロジェクト名 パスワード メールアドレス 氏名 所属 クラスタリング結果 パラメータ コメント １ 0..* 用語リストからクラスタリング結果を求める クラスタ １ 0..* プロジェクトＩＤ クラスタNo 用語リスト 各プロジェクトのクラスタリング結果を収める [脚注] 　クラスは、RDBのテーブルにて表現

12 Project （プロジェクト）テーブル 「作成日時」でインデックス 作成（ソートに使用） 名称 列名 制約 project_id
ユニークキー。英数20文字以内 プロジェクト名 project_name 日本語255バイト以内 必須項目 パスワード password 英数8文字以内。必須 メールアドレス e_mail 英数255バイト以内。必須項目 氏名 name 所属 belonging コメント comment 日本語でTEXT型 クラスタリングパラメータ params 日本語,varchar型で255 ステータス Status プロジェクトの状態を示す 0 （登録前) 1 （登録済) 9 （停止) 名称 列名 制約 登録No Registry_no 英数256文字以内。最初の登録時のみ使用 作成日時 Create_date 作成日時 Datetime型 更新日時 Update_date 更新日時 timeptamp型 「作成日時」でインデックス 作成（ソートに使用）

13 Document （文書）テーブル 「プロジェクトID」+「文書名」の組を ユニークキーにする 名称 列名 制約 project_id
英数20文字以内。 インデックス用意。 文書名 documentt_name 日本語で255バイト以内 必須項目 用語リスト Term_list テキスト型。JSONで用語とTFの組にしたリストを格納 登録No Registry_no 英数255文字以内。最初の登録時のみ使用 作成日時 Create_date 作成日時 Datetime型 更新日時 Update_date 更新日時 timeptamp型 「プロジェクトID」+「文書名」の組を ユニークキーにする

14 「プロジェクトID」+「クラスタNo」の組を
Cluster（クラスタ）テーブル 名称 列名 制約 プロジェクトID project_id 英数20文字以内 インデックス用意。 クラスタNo cluster_no 整数 用語リスト Term_list テキスト型。JSONで用語リストを格納 「プロジェクトID」+「クラスタNo」の組を ユニークキーにする

15 文書中の用語と頻度(TF)のリスト （基本データ型 ２）
JSON（JavaScript Object Notation）を使い、言語に依存しない形（RFC 4627）でＤＢに格納する 用語と頻度のハッシュ（連想配列）をシリアライズ（直列化）

16 クラスタリング結果 （基本データ型　３） ただの配列データだが、JSONを使い、言語に依存しない形でＤＢに格納する

17 潜在的意味解析 当面実装しない PerlモジュールPDFを用いて、潜在的意味解析に必要な固有値解析(LSA)を行えるとことまでは調査すみ

18 URIベース設計 ＵＲＩ アクション / メインページ /user/login ログイン画面 /user/project
プロジェクト登録画面 /user/password パスワード変更 /termextract 用語リスト表示画面（１） /termextract/ドキュメント名/ 用語リスト表示画面（２） /culuster/disp/クラスタno/ページ/ クラスタリング結果表示 /download ダウンロード設定画面