BioIE のための 自然言語処理技術 東京大学　辻井研究室 JST研究員　鶴岡 慶雅.

Presentation on theme: "BioIE のための 自然言語処理技術 東京大学　辻井研究室 JST研究員　鶴岡 慶雅."— Presentation transcript:

1 BioIE のための 自然言語処理技術 東京大学　辻井研究室 JST研究員　鶴岡 慶雅

2 Outline 言語処理資源 言語処理ツール 応用 GENIAコーパス 最大エントロピー法 バイオテキスト用品詞タガー
バイオテキスト用専門用語タガー HPSGパーザ 応用 MEDLINEからの遺伝子・疾患関係の抽出

3 言語資源の構築 言語処理研究のためのリソース 現在開発中のリソース ドメイン知識 コーパスベースの技術のための学習データ
システムの汎用性を評価するめの評価データ 現在開発中のリソース GENIA リソース オントロジー：ドメイン固有概念を体系化 コーパス：概念の実テキスト上での表現

4 GENIAコーパスの概要 MEDLINE アブストラクト 4,000件 XML形式 現在開発中のコーパス（赤字は公開中）
ヒト血球細胞における転写因子に関する論文（Human, Blood cells, Transcription factors） XML形式 現在開発中のコーパス（赤字は公開中） 専門用語とその意味（Kim et al 2003） 品詞（Tateisi et al 2004） 構文木 照応（Institute of Infocomm Research, Singapore）

5 GENIA専門用語コーパス GENIAオントロジーに基づく意味クラスを付与 規模
The peri-kappa B site mediates human immunodeficiency virus type enhancer activation in monocytes … 　　　DNA virus cell_type GENIAオントロジーに基づく意味クラスを付与 規模 アブストラクト 2,000件 用語数 ,723語 総異なり数 36,568語

6 GENIA品詞コーパス 個々のトークンに品詞タグを付与 規模
The peri-kappa B site mediates human immunodeficiency virus type enhancer activation in monocytes … DT NN NN NN VBZ JJ NN NN NN CD NN NN IN NNS 個々のトークンに品詞タグを付与 規模 アブストラクト 2,000件 20,544文 50,1054単語（Penn Treebank の約半分）

7 GENIA構文木コーパス Penn TreeBank の基準に基づき木構造を付与 規模 アブストラクト 200件 12月までに500件
S VP VP PP NP NP ADJP CD3-episilon expression is controlled by a downstream T lymphocyte-specific enhancer element Penn TreeBank の基準に基づき木構造を付与 規模 アブストラクト 200件 12月までに500件 年度末に1500件（15,000文、Penn Treebankの約3分の1）

8 Outline 言語処理資源 言語処理ツール 応用 GENIAコーパス 最大エントロピー法 バイオテキスト用品詞タガー
バイオテキスト用専門用語タガー HPSGパーザ 応用 MEDLINEからの遺伝子・疾患関係の抽出

9 最大エントロピー法による 機械学習 Log-linear model 素性関数 素性の重み
不等式制約による最大エントロピー法 (Kazama and Tsujii 2003) 　Gaussian prior と似たような効果 　学習結果（パラメータ）がスパースになるためモデルサイズが小さい 　実行時速度・プログラムサイズの点で高い実用性

10 品詞タグ付け 新聞記事などに対しては高精度のタガーが利用可能 汎用タガーはMEDLINEでは精度がでない
The peri-kappa B site mediates human immunodeficiency DT NN NN NN VBZ JJ NN virus type enhancer activation in monocytes … NN NN CD NN NN IN NNS 新聞記事などに対しては高精度のタガーが利用可能 Brill’s tagger, TnT tagger, MX POST, etc. 約97% 汎用タガーはMEDLINEでは精度がでない

11 TnT tagger (Brants 2000) によるタグ付け誤り例
… and membrane potential after mitogen binding. CC NN NN IN NN JJ … two factors, which bind to the same kappa B enhancers… CD NNS WDT NN TO DT JJ NN NN NNS … by analysing the Ag amino acid sequence. IN VBG DT VBG JJ NN NN … to contain more T-cell determinants than … TO VB RBR JJ NNS IN Stimulation of interferon beta gene transcription in vitro by NN IN JJ JJ NN NN IN NN IN

12 GENIAコーパスでの TnT tagger の精度
いくつかのタグを同一視して評価 精度 オリジナル 84.4% NNP = NN, NNPS = NNS 90.0% LS = NN 91.3% JJ = NN 94.9% 実質的には９４％前後？

13 GENIA tagger 確率モデル Maximum Entropy Markov Model (MEMM)
分類問題なので最大エントロピー法で機械学習

14 学習 素性 訓練コーパス Wall Street Journal (WSJ) 39,832文 GENIA corpus 18,508文

15 タグ付け精度 GENIA tagger （参考）TnT tagger WSJ GENIA 97.0 84.3 75.2 98.1
学習コーパス WSJ GENIA 97.0 84.3 75.2 98.1 WSJ+GENIA 96.9 学習コーパス WSJ GENIA 96.7 84.3 80.1 97.9 WSJ+GENIA 96.5 97.5 特化した場合と比較して ほとんど精度低下なし 特化した場合よりも 0.2 ~ 0.4 ポイント程度精度低下

16 固有表現認識(NER) 文の中で, 固有表現(人名, 地名, ..., タンパク質名などの情報 抽出にとって重要なオブジェクト）が現れている場所を認識しそ のタイプを判定する “Thus, CIITA not only activates the expression of class II genes but recruits another B cell-specific coactivator to increase transcriptional activity of class II promoters in B cells.” PROTEIN DNA DNA CELL TYPE

17 IOB tagging B-X: タイプXの固有表現の始まり I-X: タイプXの固有表現の中 O: それ以外
個々の単語に対するタグ付けタスクとして捉える: ( IOB tagging; Ramshaw and Marcus 1995) Number of glucocorticoid receptors in lymphocytes … O O B-PROTEIN I-PROTEIN O B-CELLTYPE B-X: タイプXの固有表現の始まり I-X: タイプXの固有表現の中 O: それ以外

18 部分単語列判定モデル 可能な部分単語列を分類するタスクと考える 効率的な学習 W1 W2 W3 W4
MEMMやCRFなどでは扱えない素性を導入できる ただし １文あたり単語数の２乗個の分類　⇒　多すぎる 効率的な学習 named entity の一部になる確率が低い単語を含む部分単語列を除外　⇒　学習可能に

19 学習 素性 学習器 訓練データ： Maximum entropy model 2000 abstracts
LMVM cutoff = 0 Gaussian prior = 1000 訓練データ： 2000 abstracts shared task の training set 1/10 を development set として利用

20 テストセットでの精度 Shared task at Coling 2004 BioNLP workshop Recall Precision
F-score SVM+HMM (Zho 2004) 76.0 69.4 72.6 本手法 71.5 70.2 70.8 MEMM (Fin 2004) 71.6 68.6 70.1 CRF (Set 2004) 70.3 69.3 69.8

21 HPSGパージング HPSG 文法 (Miyao et al. 2004) 少ない文法規則 大量の語彙項目 項構造を出力 確率モデル
Log-linear コーパスから学習 HEAD: verb SUBJ: <> COMPS: <> Subject-head schema HEAD: verb SUBJ: <noun> COMPS: <> 語彙項目 Head-modifier schema HEAD: noun SUBJ: <> COMPS: <> HEAD: verb SUBJ: <noun> COMPS: <> adv HEAD: MOD: verb Mary walked slowly

22 Phrase structure s vp vp np pp dt np vp vp pp np DT NN VBZ VBN IN PRP
The company is run by him

23 Predicate-argument structure
vp vp np arg2 pp arg1 mod dt np vp vp pp np DT NN VBZ VBN IN PRP The company is run by him

24 述語・項構造を利用した 情報検索

25 Parsing MEDLINE by Enju
Enju の GENIA Treebank での精度評価 文数 LP / LR UP / UR 全ての文 1,556 82.8 / 81.5 86.4 / 85.1 文法でカバーされている文 1,104 86.8 / 86.5 88.7 / 88.4

26 Outline 言語処理資源 言語処理ツール 応用 GENIAコーパス 最大エントロピー法 バイオテキスト用品詞タガー
バイオテキスト用専門用語タガー HPSGパーザ 応用 MEDLINEからの遺伝子・疾患関係の抽出

27 対象テキスト MEDLINEアブストラクト 150万件 パージング 疾患と遺伝子の関係を記述していそうな論文
MeSH Term による絞込み “Disease Category” AND (“Amino Acids, Peptides, and Proteins” OR “Genetic Structures”) パージング HPSGパーザを利用して全ての文を解析 実行環境：　PCクラスタ（100 processors with GXP） 時間： 約10日間

28 テキストに記述されている疾患・遺伝子関係
　These results suggested that targeted disruption of Cyp19 caused anovulation and precocious depletion of ovarian follicles 　Furthermore, AML cells with methylated　p15(INAK4B) tended to express higher levels of DNMT1 and 3B.

29 学習データ 遺伝子・疾患の共起に対して専門家が「関係あり／なし」のアノテーション
All foals with OLWS were homozygous for the Ile118Lys EDNRB mutation, and adults that were homozygous were not found. Dominant radial drusen and Arg345Trp EFEMP1 mutation. The 5 year overall survival (OS) and event-free survival (EFS) were 94 and 90 +/- 8%, respectively, with a median follow-up of 48 months. These data may indicate that formation of parathyroid adenoma in young patients is related to a mechanism involving EGFR. ：

30 述語・項構造を利用した素性 ARG1 ARG2 gene/disease X disease/gene These results suggested that targeted disruption of Cyp19 caused anovulation and precocious depletion of ovarian follicles. Furthermore, AML cells with methylated p15(INAK4B) tended to express higher levels of DNMT1 and 3B.

31 疾患・遺伝子関係抽出精度 学習／評価データ： 2,253文 10-fold cross validation 素性 recall
学習／評価データ：　2,253文 10-fold cross validation 素性 recall precision f-score なし 1.0 0.351 0.520 + bag of words 0.733 0.682 0.706 + local context 0.695 0.714 + 述語・項構造 0.759 0.710

32 DGA explorer

33 まとめ バイオテキスト用品詞タガー バイオテキスト用専門用語タガー Enju on the GENIA treebank
PTBとGENIAコーパスを利用して学習 Precision: 97％ バイオテキスト用専門用語タガー F-score: 70.8% Enju on the GENIA treebank LP/LR: 82.8% / 81.5% MEDLINEからの遺伝子・疾患関係の抽出 F-score: 73%

34 公開ソフトウェア・リソース GENIA Enju（HPSGパーザ） MEDUSA（項構造を利用した情報検索システム） LiLFeS
専門用語コーパス 品詞コーパス 構文木コーパス 照応コーパス（公開予定, シンガポール大） 品詞タガー 専門用語タガー（予定） HPSGによるパーズ結果（MEDLINE１０万件） Enju（HPSGパーザ） MEDUSA（項構造を利用した情報検索システム） LiLFeS