named by かしまさん（ＩＢＭ） 読む人：藤巻（ＮＥＣ）

Presentation on theme: "named by かしまさん（ＩＢＭ） 読む人：藤巻（ＮＥＣ）"— Presentation transcript:

1 named by かしまさん（ＩＢＭ） 読む人：藤巻（ＮＥＣ）
Multi-Instance 祭り！！ named by かしまさん（ＩＢＭ） 読む人：藤巻（ＮＥＣ）

2 Multiple Instance Learning for Sparse Positive Bags
読む論文（参考文献） On the Relation Between Multi-Instance Learning and Semi-Supervised Learning Zhi-Hua Zhou and Jun-Ming Xu MIってSemi-supervisedで解けるよね Semi-supervised Learning，CCCP Formulationは参照論文とほぼ同じになる Multiple Instance Learning for Sparse Positive Bags Razvan C. Bunescu and Raymond J. Mooney Trunsductive Constraint, CCCP

3 What is Multi-Instance Learning（Ａ）
Overview What is Multi-Instance Learning（Ａ） SVM-based Multi-Instance Learning（Ｂ） sSVM（Ｂ） Formulation Trunsductive and CCCP Miss-SVM（Ａ） Relation between MI and Semi-Supervised Experiments

4 What is Multi-Instance Learning?
Negative bags Positive bags Given : 各bagのラベル Unknown : 各インスタンスのラベル Assumption : positive bagは少なくても1つの positive instanceを含む Unknown bagに対するpredictorを学習することが目標 ＊医療系とか画像診断系でこういう問題設定があるのかな？

5 SVM-based Multi Instance Learning
SIL-SVM : Positive Bags は Positive Richと思おう 他にも・・・ 　・STK・・・NSKの亜種 　・mi-SVM・・・SIL-SVMを繰り返す 　・MI-SVM・・・NSKを繰り返す NSK : InstanceではなくてBagに対するカーネルを準備 Problem : 少なくて1つは正を制約に入れたい！！

6 Multiple Instance Learning for Sparse Positive Bags
Razvan C. Bunescu Raymond J. Mooney

7 sSVM sSVMだ～～！

8 Transductive and CCCP (stSVM)
・sSVMは厳密には「少なくて一つは正」を満たさない場合がある →　全部がすごい小さい負 たぶんXの間違え これを入れると Bagに必ずpositiveが1つ 必要になる ＯＫ！ 全部足したのに対する制約 全部が境界にいると思うと・・・ 全部negative negative wφ(x) + b = -1 + ξX wφ(X) + |X| b = -|X| + |X|ξX positive wφ(x) + b = 1 - ξX 1つだけpositive 後はＣＣＣＰで解こう wφ(X) + |X| b = (2 - |X|)(1 – ξX)

9 Balanced Procedure

10 Zhi-Hua Zhou Jun-Ming Xu
On the Relation Between Multi-Instance Learning and Semi-Supervised Learning Zhi-Hua Zhou Jun-Ming Xu

11 What is Multi-Instance Learning?
思い出しスライド Negative bags Positive bags Given : 各bagのラベル Unknown : 各インスタンスのラベル Assumption : positive bagは少なくても1つの positive instanceを含む Unknown bagに対するpredictorを学習することが目標

12 Semi-Supervised Learning
Negative instances Positive instances Unknown instances Given : positive, negative instancesのラベル Unknown : unknown Instancesのラベル unknown instancesも学習に使い predictorの精度を向上させることが目標

13 Reformulation Bag label Instance Bagをnegative, positiveでソートしてみる

14 Reformulation Assumption:positive bagは少なくても1つのpositive instanceを含む
→　negative bagはnegative instanceのみを含む Negative由来はnegative!! Positive由来はunknown Let’s Semi-Supervised Formulation!! positive bagのindex →Fsによって各インスタンスのラベルを判定し1つでもpositiveならpositive

15 MissSVM Popular Semi-Supervised Learning Formulation
Labeled data Unlabeled data Positive bagは必ずpositive instanceを含まないと×

16 MissSVM Representer Theorem negative bag positive bag
positive instance positive instance Representer Theorem

17 MissSVM ConCave Convex Programing (CCCP) にしよう convex convex convex

18 Relaxation to CCCP Concave部分が微分不可なのでsubgradientで代用する (1-τ) 簡単に・・・
fのxにおけるsubgradient

19 MissSVM　CCCP

20 Experiments sSVM

21 Bagのレシピ

22 Result

23 Experiments MissSVM

24 Drug Activity Prediction
Musk1: 47 positive bags, 45 negative bags, average 5.17 instances Musk2: 39 positive bags, 63 negative bags, average instances Bag: molecule Instance: low-energy shape

25 Image Categorization Bag: Image Instance: Region of Interest

26 Image Categorization 入力 出力

27 Web Index Page Recommendation

28 マルチインスタンス学習の問題設定を知った Bag内の相関を考える（Future workにも載っていた）
感想 マルチインスタンス学習の問題設定を知った Bag内の相関を考える（Future workにも載っていた） 仮説：同じBag内のデータは似ている（positiveもnegativeも） 負けてもいいんだという心意気を学んだ