Trading Convexity for Scalability Ronan Collobert, Fabian Sinz, Jason Weston, Léon Bottou 発表:藤巻遼平(NEC)
ざっくりした内容 (Transductive) SVMのHinge Loss → 凸で計算的にいい!! ほんとに凸な損失関数は識別にいいの? でも・・・ ほんとに凸な損失関数は識別にいいの? スパース性がいまいちで大規模になるとつらくなる 損失関数の凸性を捨てて,凹凸損失を利用で識別率アップ!? スパース性が高まってSVMのすけーらびりてぃーもアップ!? Key Word SVM, Convexity, Scalability, Hinge Loss, Ramp Loss, ConCave-Convex Programming (CCCP)
Concave-Convex Procedure 評価関数が凹凸に分解できる場合を考える 各イタレーションでJは減少
Non-Convex SVMs この辺りはnot SV この辺りもSV 識別境界 Ramp Loss: ちなみにここでは微分不可 微分すると・・・ Ramp Loss にすると境界面から遠いのはSVじゃなくなる→ おぉ!なんてすぱーす
Non-Convex SVMs
Non-Convex SVMs βの初期値をどう選ぶ? 全部0 一回目のイタレーションが Hinge Loss SVM これはありがたくない
Result
Result USPS+N Adult
Result Adult USPS+N
Result
CCCP-Transductive SVM SVMLight-TSVM ∇TSVM CCCP-TSVM 計算量: ?
Result: small data base