Download presentation
Presentation is loading. Please wait.
1
Trading Convexity for Scalability
Ronan Collobert, Fabian Sinz, Jason Weston, Léon Bottou 発表：藤巻遼平（NEC）
2
ざっくりした内容 (Transductive) SVMのHinge Loss → 凸で計算的にいい!! ほんとに凸な損失関数は識別にいいの?
でも・・・ ほんとに凸な損失関数は識別にいいの? スパース性がいまいちで大規模になるとつらくなる 損失関数の凸性を捨てて，凹凸損失を利用で識別率アップ!? スパース性が高まってSVMのすけーらびりてぃーもアップ!? Key Word SVM, Convexity, Scalability, Hinge Loss, Ramp Loss, ConCave-Convex Programming (CCCP)
3
Concave-Convex Procedure
評価関数が凹凸に分解できる場合を考える 各イタレーションでJは減少
4
Non-Convex SVMs この辺りはnot SV この辺りもSV 識別境界 Ramp Loss: ちなみにここでは微分不可
微分すると・・・ Ramp Loss にすると境界面から遠いのはSVじゃなくなる→ おぉ！なんてすぱーす
5
Non-Convex SVMs
6
Non-Convex SVMs βの初期値をどう選ぶ? 全部0 一回目のイタレーションが Hinge Loss SVM これはありがたくない
7
Result
8
Result USPS+N Adult
9
Result Adult USPS+N
10
Result
11
CCCP-Transductive SVM
SVMLight-TSVM ∇TSVM CCCP-TSVM 計算量： ？
12
Result: small data base
Similar presentations
![22 ・ 3 積分形速度式 ◎ 速度式： 微分方程式 ⇒ 濃度を時間の関数として得るためには積分が必要 ＃ 複雑な速度式 数値積分 （コンピューターシミュ レーション） ＃ 単純な場合 解析的な解（積分形速度式） (a)1 次反応 １次の速度式 の積分形 [A] 0 は A の初濃度 (t ＝ 0 の濃度.](/40/11046398/big_thumb.jpg "22 ・ 3 積分形速度式 ◎ 速度式： 微分方程式 ⇒ 濃度を時間の関数として得るためには積分が必要 ＃ 複雑な速度式 数値積分 （コンピューターシミュ レーション） ＃ 単純な場合 解析的な解（積分形速度式） (a)1 次反応 １次の速度式 の積分形 [A] 0 は A の初濃度 (t ＝ 0 の濃度.>")
