Trading Convexity for Scalability

Slides:



Advertisements
Similar presentations
組合せ最適化輪講 2.3 連結性 川原 純. 2.3 連結性 内容 – グラフ上の節点をすべてたどるアルゴリズム 計算機上でのグラフの表現 – 強連結成分を求めるアルゴリズム トポロジカル順序を求める方法も – k- 連結、 k- 辺連結について – 2- 連結グラフの耳分解について.
Advertisements

1 微分・ベクトル解析 (4) 講師:幹 浩文( A314) TA :西方良太 M 1 ( A305 ) A 1 03 ( 10 : 50~12 : 20 ) 【金】 https://
22 ・ 3 積分形速度式 ◎ 速度式: 微分方程式 ⇒ 濃度を時間の関数として得るためには積分が必要 # 複雑な速度式 数値積分 (コンピューターシミュ レーション) # 単純な場合 解析的な解(積分形速度式) (a)1 次反応 1次の速度式 の積分形 [A] 0 は A の初濃度 (t = 0 の濃度.
論理回路 第3回 今日の内容 前回の課題の解説 論理関数の基礎 – 論理関数とは? – 真理値表と論理式 – 基本的な論理関数.
寺尾 敦 青山学院大学社会情報学部 Fisher の直接確率法 寺尾 敦 青山学院大学社会情報学部
オンライン学習 Prediction Learning and Games Ch2
Data Clustering: A Review
菊池自由エネルギーに対する CCCPアルゴリズムの拡張
VC dimension Support Vector Machines Kernel Method
Pattern Recognition and Machine Learning 1.5 決定理論
Android Development 白熱道場
CSWパラレルイベント報告 ヒューマンライツ・ナウ        後藤 弘子.
Accelerated Gradient Methods for Stochastic Optimization and Online Learning (Hu, Kwok and Pan, NIPS2009) 二宮 崇 機械学習勉強会 2010 年 6 月 17 日 1.
バリアオプションの価格公式 バリアオプションの価格公式 岩田 将平 矢野 雅俊 若林 尚貴 発表の流れ バリアオプションとは 価格計算の例
チロルチョコヒットの理由  市場戦略学科 MR2038 岡谷知香.
これは今の日本の地図です。この線は何だと思いますか。
大規模データの線形識別 Recent Advances of Large-scale Linear Classification
Bias2 - Variance - Noise 分解
画像特徴(点、直線、領域)の検出と識別-2 呉海元@和歌山大学 2007年5月14日
TCPデータ通信との公平性を考慮した 輻輳適応能力を有する MPEG動画像通信のための品質調整機構
大阪市立大学数学研究所 孝森洋介 共同研究者: 大川、諏訪(京大基研)、 高本(京大理)
技術トピックス 2014/11.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
線積分 T T y y x x 曲線 C 図のように、地上気温Tがx-y平面上に分布しているとする。そのとき、例えば近鉄の線路
VC dimension Support Vector Machines Kernel Method
3. 線形回帰および識別 クラシックな機械学習の入門 by 中川裕志(東京大学) 線形回帰のモデル 正則化項の導入 L2正則化 L1正則化
10. 積分 積分・・確率モデルと動学モデルで使われる この章は計算方法の紹介 積分の定義から
table 'results' SELECT name, teacher FROM results;
CL4NX +Wireless LAN (KITTING MANUAL)
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
サポートベクターマシン によるパターン認識
北大MMCセミナー 第74回 附属社会創造数学センター主催 Date: 2017年8月4日(金) 15:00~16:30
第10回:Microsoft Excel (2/2)
情報学研究科 通信情報システム専攻 小野寺研究室 M1 奥村 佳弘
Lazy Release Consistency
New accessory hardware Global Platform Division
チロルチョコヒットの理由  市場戦略学科 MR2038 岡谷知香.
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
Adjectives.
早稲田大学連続セミナー 第4回 Product Differentiation and Spatial Competition
Large Margin Component Analysis by Lorenzo Torresani, Kuang-chih Lee
磁気リコネクション (Craig-Henton解の安定性) ~シミュレーションサマースクール@千葉大より~
Online Decoding of Markov Models under Latency Constraints
named by かしまさん(IBM) 読む人:藤巻(NEC)
ミクロ経済学第9回 企業と費用2:費用最小化.
VC dimension Support Vector Machines Kernel Method
第7章 疎な解を持つカーネルマシン 修士2年 山川佳洋.
産業組織論A 11 丹野忠晋 拓殖大学政経学部 2017年6月20日
りんごが12こあります。1人に4こずつわけると     何人に分けられるでしょうか。.
階層的境界ボリュームを用いた 陰関数曲面の高速なレイトレーシング法
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
宇宙線東西効果を利用した 電子―陽電子選別
Nightmare at Test Time: Robust Learning by Feature Deletion
AI かどうか? 木下研究室 David Chen
SIGN LANGUAGE.
アルゴリズムとデータ構造 2011年7月8日課題の復習
第10回:Microsoft Excel (2/2)
microsoft. com/ja-jp/office/pipc/tips/photobook/default
Session 25: Statistical Methods (一つのみ)
経営学研究科 M1年 学籍番号 speedster
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
22・3 積分形速度式 ◎ 速度式: 微分方程式 ⇒ 濃度を時間の関数として得るためには積分が必要
Please don’t… …so as not to…
22・3 積分形速度式 ◎ 速度式: 微分方程式 ⇒ 濃度を時間の関数として得るためには積分が必要
解析学 ー第9〜10回ー 2019/5/12.
Advanced Data Structure 第3回
OPEN文、READ文、PERFORM文
全体ミーティング(6/3) 修士2年 飯塚 大輔.
プログラミング言語論 プログラミング言語論 演習7 解答と解説 演習7 解答と解説 1.
2009年8月18日,新潟大学 「情報」と「ものづくり」 の実践教育3 下保敏和,佐藤亮一.
Presentation transcript:

Trading Convexity for Scalability Ronan Collobert, Fabian Sinz, Jason Weston, Léon Bottou 発表:藤巻遼平(NEC)

ざっくりした内容 (Transductive) SVMのHinge Loss → 凸で計算的にいい!! ほんとに凸な損失関数は識別にいいの? でも・・・ ほんとに凸な損失関数は識別にいいの? スパース性がいまいちで大規模になるとつらくなる 損失関数の凸性を捨てて,凹凸損失を利用で識別率アップ!? スパース性が高まってSVMのすけーらびりてぃーもアップ!? Key Word SVM, Convexity, Scalability, Hinge Loss, Ramp Loss, ConCave-Convex Programming (CCCP)

Concave-Convex Procedure 評価関数が凹凸に分解できる場合を考える 各イタレーションでJは減少

Non-Convex SVMs この辺りはnot SV この辺りもSV 識別境界 Ramp Loss: ちなみにここでは微分不可 微分すると・・・ Ramp Loss にすると境界面から遠いのはSVじゃなくなる→ おぉ!なんてすぱーす

Non-Convex SVMs

Non-Convex SVMs βの初期値をどう選ぶ? 全部0 一回目のイタレーションが Hinge Loss SVM これはありがたくない

Result

Result USPS+N Adult

Result Adult USPS+N

Result

CCCP-Transductive SVM SVMLight-TSVM ∇TSVM CCCP-TSVM 計算量: ?

Result: small data base