第5回 双対問題 テキストp 内容 双対問題の導出 式を足しあわせる方法 Lagrange緩和 相補性条件 双対辞書

Slides:



Advertisements
Similar presentations
Absolute Orientation. Absolute Orientation の問題 二つの座標系の間における剛体 (rigid body) 変換を復元す る問題である。 例えば: 2 台のステレオカメラから得られた3次元情報の間の関 係を推定する問題。 2 台のステレオカメラから得られた3次元情報の間の関.
Advertisements

<最適化の概念> 最適化すべき問 題 数学モデル 変数,数式 数理計画法 定められた計算手 順を用いて解くた めの方法論.
1. 補間多項式 n 次の多項式 とは、単項式 の 線形結合の事である。 Definitions: ( 区間, 連続関数, abscissas (データ点、格子点、差分点), 多項 式 ) Theorem. (補間多項式の存在と一意性) 各 i = 0, …, n について、 をみたす、次数が高々 n.
第6回 線形計画法の解法(4) 混合最小値問題 山梨大学.
データ解析
線形計画 追加問題 ジュースを売って儲けよう!
ネットワーク理論講義補助資料 Text. 組合せ最適化とアルゴリズム 4.5 節 主・双対法 pp
「基礎OR」/「OR演習」 第2回 10/06/2009 森戸 晋.
第八回  シンプレックス表の経済的解釈 山梨大学.
© Yukiko Abe 2014 All rights reserved
ゲーム理論・ゲーム理論Ⅰ (第6回) 第4章 戦略形ゲームの応用
Pattern Recognition and Machine Learning 1.5 決定理論
第三回 線形計画法の解法(1) 標準最大値問題 山梨大学.
ネットワーク理論 Text. Part 3 pp 最短路問題 pp 最大流問題 pp.85-94
第四回 線形計画法(2) 混合最大値問題 山梨大学.
土木計画学 第11回(12月21日) 土木計画と説明責任 計画における代替案の作成1 担当:榊原 弘之.
香川大学工学部 富永浩之 情報数学1 第5-2章 命題論理式の 同値変形とカルノー表 香川大学工学部 富永浩之
Natural Semantics 実行過程の、最初と最後の状態(state)の関係を考える。
「基礎OR」/「OR演習」 第3回 10/13/2009 森戸 晋.
データ構造と アルゴリズム 第二回 知能情報学部 新田直也.
多変数関数の積分(6/3~24) 重積分(2重積分) 第6章(§5は除く) 重積分の定義 「連続関数は積分可能」
第 七 回 双対問題とその解法 山梨大学.
1章前半.
第九回 問題の定式化練習と 自主研究課題 山梨大学.
最尤推定によるロジスティック回帰 対数尤度関数の最大化.
最大最小性, 双対性 min-max property duality
(ラプラス変換の復習) 教科書には相当する章はない
電気回路Ⅱ 演習 特別編(数学) 三角関数 オイラーの公式 微分積分 微分方程式 付録 三角関数関連の公式
10. 積分 積分・・確率モデルと動学モデルで使われる この章は計算方法の紹介 積分の定義から
誤差の二乗和の一次導関数 偏微分.
ネットワーク理論講義補助資料 Text. 組合せ最適化とアルゴリズム 4.3 節 Lagrange緩和 pp
第6章 カーネル法 修士2年 藤井 敬士.
サポートベクターマシン によるパターン認識
© Yukiko Abe 2014 All rights reserved
データ解析 静岡大学工学部 安藤和敏
情報学研究科 通信情報システム専攻 小野寺研究室 M1 奥村 佳弘
第25章 単一始点最短路 3節 Bellman-Fordのアルゴリズム
ネットワーク理論 Text. Part 3 pp 最短路問題 pp 最大流問題 pp.85-94
第9章 混合モデルとEM 修士2年 北川直樹.
独立成分分析 5 アルゴリズムの安定性と効率 2007/10/24   名雪 勲.
6. ラプラス変換.
第7章 疎な解を持つカーネルマシン 修士2年 山川佳洋.
主成分分析 Principal Component Analysis PCA
運搬スケジューリング問題と その周辺 東京商船大学 流通情報工学 久保 幹雄.
A First Course in Combinatorial Optimization Chapter
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
第4回 線形計画 2000年11月 第4回 線形計画.
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
様々な情報源(4章).
部分的最小二乗回帰 Partial Least Squares Regression PLS
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
知識科学研究科 知識システム構築論講座 林研究室 佛明 智
ナップサック問題 クマさん人形をめぐる熱いドラマの結末.
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
データ解析 静岡大学工学部 安藤和敏
サポートベクターマシン Support Vector Machine SVM
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
土木計画学 第12回(1月14日) 計画における代替案の作成2 担当:榊原 弘之.
``Exponentiated Gradient Algorithms for Log-Linear Structured Prediction’’ A.Globerson, T.Y.Koo, X.Carreras, M.Collins を読んで 渡辺一帆(東大・新領域)
人工知能特論II 第8回 二宮 崇.
データ解析 静岡大学工学部 安藤和敏
プログラミング言語論 第10回 情報工学科 篠埜 功.
コストのついたグラフの探索 分枝限定法 A*アルゴリズム.
モデルの微分による非線形モデルの解釈 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
香川大学工学部 富永浩之 情報数学1 第5-2章 命題論理式の 同値変形とカルノー表 香川大学工学部 富永浩之
目次 はじめに 収束性理論解析 数値実験 まとめ 特異値計算のための dqds 法 シフトによる収束の加速
東京工業大学情報理工学研究科 小島政和 第1回横幹連合コンファレンス 2005年11月25,26日 JA 長野県ビル
グラフの帯域幅連続多重彩色 を求めるアルゴリズム (Bandwidth Consective Multicolorings of Graphs) 西関研究室 西川和秀.
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

第5回 双対問題 テキストp.42-56 内容 双対問題の導出 式を足しあわせる方法 Lagrange緩和 相補性条件 双対辞書 主問題と双対問題(一般論) 2000年12月 第4回 双対問題

もとの問題(主問題)と表裏一体を成す線形計画問題 引き続き,あなたは丼チェーン店の店長だ.今日,丼チェーンの本社から,自社農場で飼育している豚,鶏,牛の肉の価値を算出するよう指令が届いた.さて,トンコケ丼,コケトン丼,ミックス丼の販売価格から考えたとき,豚肉,鶏肉,牛肉の百グラムあたりの価値は何円と考えればよいのだろうか? こういうときは双対問題が便利 双対問題 = もとの問題(主問題)と表裏一体を成す線形計画問題 2000年12月 第4回 双対問題

式を足し合わせることによる導出 上界:主問題の最適解以上であることが保証されている値 基本的アイディア: 式を足し合わせることによって上界を計算 2000年12月 第4回 双対問題

式を足し合わせることによる導出 目的関数は 15x1+18x2+30x3 の最大化 15x1+18x2+30x3 の上界は1500 最適値は1230であったので270のギャップ 2000年12月 第4回 双対問題

式を足し合わせることによる導出 目的関数は 15x1+18x2+30x3 の最大化 最適値は1230であったので90のギャップ 2000年12月 第4回 双対問題

式を足し合わせることによる導出 目的関数は 15x1+18x2+30x3 の最大化 ??? 2000年12月 第4回 双対問題

式を足し合わせることによる導出 これが15x1+18x2+30x3以上になるためには の必要あり,このとき上界は 最もよい(小さい)上界を与えるy1 ,y2, y3を求める問題は? 2000年12月 第4回 双対問題

双対問題 仕入れ価格の最小化 トンコケ丼の価値 豚肉と鶏肉の価値 それぞれの肉の百グラムあたりの価値(単位は百円) 2000年12月 第4回 双対問題

Lagrange緩和による方法 最大化 15x1+18x2+30x3 最大化 15x1+18x2+30x3 +(60-2x1-x2-x3)y1 +(60-x1-2x2-x3)y2 +(30-x3)y3 非負 主問題 最適値は主問題の上界 2000年12月 第4回 双対問題

Lagrange緩和による方法 最大化 15x1+18x2+30x3 最大化 (15-2y1-y2)x1 +(60-2x1-x2-x3)y1 +(30-y1-y2-y3)x3 +60y1+60y2+30y3 目的関数をx1,x2,x3についてまとめる 2000年12月 第4回 双対問題

Lagrange緩和による方法 最大化 (15-2y1-y2)x1 最大化 (15-2y1-y2)x1 +(18-y1-2y2)x2 +(30-y1-y2-y3)x3 +60y1+60y2+30y3 最大化 (15-2y1-y2)x1 +(18-y1-2y2)x2 +(30-y1-y2-y3)x3 +60y1+60y2+30y3 いくつかの条件を省く(緩和) 線形計画問題だけでなく, 一般的な最適化問題に対する フレームワーク Lagrange緩和問題 2000年12月 第4回 双対問題

Lagrange緩和による方法 なるべくよい(なるべく小さい)上界を得ることを考える 最大化 (15-2y1-y2)x1 +(30-y1-y2-y3)x3 +60y1+60y2+30y3 ここが正だといくらでも大きくできる 非正でなければならない 他の係数についても同様 この条件のもとで目的関数のxに依存しない部分を最小化 2000年12月 第4回 双対問題

Lagrange緩和による方法 双対問題 最小化 60y1+60y2+30y3 2000年12月 第4回 双対問題

ちょっと脱線Lagrange緩和一般論 一般の(線形制約とは限らない)最適化問題に対するフレームワーク Lagrange未定乗数法 たとえば以下の問題の場合 2000年12月 第4回 双対問題

ちょっと脱線Lagrange緩和一般論 明らかにこれが答え 1 -1 1 なんだけど,あえて Lagrange未定乗数法を使ってみよう -1 1 なんだけど,あえて Lagrange未定乗数法を使ってみよう -1 2000年12月 第4回 双対問題

Lagrange未定乗数法 Lagrange緩和問題を生成 λを未定乗数と呼ぶ とする 2000年12月 第4回 双対問題

Lagrange未定乗数法 なのでこれはxとyの関数 λを定数だと思ってf(x)の最大値をλで表す 最大値をλで表すのは一般的には難しい 最急降下法,共役勾配法などを用いる 今回は簡単な問題なので 解析的に最大値を求める 2000年12月 第4回 双対問題

Lagrange未定乗数法 の最大値は のとき これを最小にするλは このとき 2000年12月 第4回 双対問題

弱双対性 定理(弱双対性(week duality)) 主問題の実行可能解の目的関数値は,双対問題の実行可能解の目的関数値以下である. 主問題の最適値が∞なら 双対問題には実行可能解が存在しない 双対問題の最適値が-∞なら 主問題には実行可能解が存在しない 2000年12月 第4回 双対問題

強双対性 より強いことも言える 定理(強双対性(strong duality)) 主問題が最適解をもつなら,その双対問題も最適解をもち,そのとき両者の目的関数は一致する. 2000年12月 第4回 双対問題

相補性条件 Lagrange緩和問題の目的関数に注目 主問題の目的関数 =0 (最大化) 双対問題の目的関数 =0 (最小化) さらに... 15x1+18x2+30x3+(60-2x1-x2-x3)y1+(60-x1-2x2-x3)y2+(30-x3)y3 主問題の目的関数 (最大化) =0 (15-2y1-y2)x1+(18-y1-2y2)x2+(30-y1-y2-y3)x3+60y1+60y2+30y3 双対問題の目的関数 (最小化) =0 さらに... 2000年12月 第4回 双対問題

相補性条件 xiは主問題の実行可能解なので yiは双対問題の実行可能解なので が成り立つ が成り立つ 各項は0以上,すなわち0 (60-2x1-x2-x3)y1+(60-x1-2x2-x3)y2+(30-x3)y3=0 各項は0以上,すなわち0 2000年12月 第4回 双対問題

相補性条件 xiは主問題の実行可能解なので yiは双対問題の実行可能解なので が成り立つ が成り立つ 各項は0以下,すなわち0 つまり... (15-2y1-y2)x1+(18-y1-2y2)x2+(30-y1-y2-y3)x3=0 各項は0以下,すなわち0 つまり... 2000年12月 第4回 双対問題

相補性条件 主問題の最適解xiと主問題の最適解yiは (60-2x1-x2-x3)y1=0 (15-2y1-y2)x1=0 を満たさなければならない. 原料の価格 > 丼の価格 ならば丼を作らない 余った肉の価値は0でなければならない xiとyiが最適解であることの必要十分条件 2000年12月 第4回 双対問題

双対辞書 双対問題の辞書を作る 最小化 60y1+60y2+30y3 =z 条件 2y1+ y2 -w1 =15 y1+ y2+ y3 -w3=30 余裕変数の導入 2000年12月 第4回 双対問題

双対辞書 最小化 60y1+60y2+30y3 =z 条件 2y1+ y2 -w1 =15 y1+ 2y2 -w2 =18 最小化問題を y1+ y2+ y3 -w3=30 最小化問題を 最大化問題に変換 最大化 -60y1-60y2-30y3 =-z 条件 2y1+ y2 -w1 =15 y1+ 2y2 -w2 =18 y1+ y2+ y3 -w3=30 2000年12月 第4回 双対問題

双対辞書 最大化 -60y1-60y2-30y3 =-z 条件 2y1+ y2 -w1 =15 y1+ 2y2 -w2 =18 y1+ y2+ y3 -w3=30 辞書により表現 初期双対辞書 -z = 0 -60y1-60y2-30y3 w1=-15+ 2y1+ y2 w2=-18+ y1+ 2y2 w3=-30+ y1+ y2+ y3 2000年12月 第4回 双対問題

双対辞書 初期双対辞書 -z = 0 -60y1-60y2-30y3 w1=-15+ 2y1+ y2 w2=-18+ y1+ 2y2 w3=-30+ y1+ y2+ y3 双対辞書に対応する基底解は 必ずしも実行可能になっていない (y1,y2,y3,w1,w2,w3)=(0,0,0,-15,-18,-30) 非負条件を満たしていない 2000年12月 第4回 双対問題

双対辞書 主問題の初期辞書と見比べると 初期辞書 z = 0+15x1+18x2+30x3 s1=60- 2x1- x2- x3 初期双対辞書 -z = 0 -60y1-60y2-30y3 w1=-15+ 2y1+ y2 w2=-18+ y1+ 2y2 w3=-30+ y1+ y2+ y3 係数を行列表現すると 0 15 18 30 60 –2 –1 –1 60 –1 –2 –1 30 0 0 –1 0 –60 –60 –30 –15 2 1 0 –18 1 2 0 –30 1 1 1 転置反転の関係 2000年12月 第4回 双対問題

双対辞書 初期辞書 z = 0+15x1+18x2+30x3 s1=60- 2x1- x2- x3 s2=60- x1- 2x2- x3 初期双対辞書 -z = 0 -60y1-60y2-30y3 w1=-15+ 2y1+ y2 w2=-18+ y1+ 2y2 w3=-30+ y1+ y2+ y3 (x1,x2,x3,s1,s2,s3)=(0,0,0,60,60,30) (y1,y2,y3,w1,w2,w3)=(0,0,0,-15,-18,-30) 相補性条件 siyi=0 i=1,2,3 wjxj=0 j=1,2,3 を満たしている 2000年12月 第4回 双対問題

双対辞書 初期辞書 z = 0+15x1+18x2+30x3 s1=60- 2x1- x2- x3 s2=60- x1- 2x2- x3 初期双対辞書 -z = 0 -60y1-60y2-30y3 w1=-15+ 2y1+ y2 w2=-18+ y1+ 2y2 w3=-30+ y1+ y2+ y3 相補性条件 siyi=0 i=1,2,3 wjxj=0 j=1,2,3 1反復後の辞書 z =900+15x1+18x2-30s3 s1=30 - 2x1- x2+ s3 s2=30 - x1- 2x2+ s3 x3=30 - s3 1反復後の双対辞書 -z =-900-30y1-30y2-30w3 w1=- 15+ 2y1+ y2 w2=- 18+ y1+ 2y2 y3= 30- y1- y2+ w3 実行可能解でなければ 多面集合の端点でもない 基底解 (y1,y2,y3,w1,w2,w3)=(0,0,30,-15,-18,0) 2000年12月 第4回 双対問題

双対辞書 1反復後の辞書 z =900+15x1+18x2-30s3 s1=30 - 2x1- x2+ s3 1反復後の双対辞書 -z =-900-30y1-30y2-30w3 w1=- 15+ 2y1+ y2 w2=- 18+ y1+ 2y2 y3= 30- y1- y2+ w3 相補性条件 siyi=0 i=1,2,3 wjxj=0 j=1,2,3 2反復後の双対辞書 -z =-1170- 15y1- 15w2-30w3 w1=- 6+3/2y1+1/2w2 y2= 9- 1/2y1+1/2w2 y3= 21- 1/2y1- 1/2w2+ w3 2反復後の辞書 z =1170+ 6x1- 9s2- 21s3 s1=15 -3/2x1-1/2s2+1/2s3 x2=15 -1/2x1-1/2s2+1/2s3 x3=30 - s3 基底解 (y1,y2,y3,w1,w2,w3)=(0,9,21,-6,0,0) まだ 実行可能解でなければ 多面集合の端点でもない 2000年12月 第4回 双対問題

双対辞書 2反復後の辞書 z =1170+ 6x1- 9s2- 21s3 s1=15 -3/2x1-1/2s2+1/2s3 x2=15 -1/2x1-1/2s2+1/2s3 x3=30 - s3 2反復後の双対辞書 -z =-1170- 15y1- 15w2-30w3 w1=- 6+3/2y1+1/2w2 y2= 9- 1/2y1+1/2w2 y3= 21- 1/2y1- 1/2w2+ w3 相補性条件 siyi=0 i=1,2,3 wjxj=0 j=1,2,3 最終双対辞書 -z =-1230- 10w1- 10w2-30w3 y1 = 4+2/3w1-1/3w2 y2 = 7- 1/3w1+2/3w2 y3 = 19- 1/3w1- 1/3w2+ w3 最終辞書 z =1230- 4s1 - 7s2- 19s3 x1=10 - 2/3s1+1/3s2+1/3s3 x2=10 +1/3s1- 2/3s2+1/3s3 x3=30 - s3 基底解 (y1,y2,y3,w1,w2,w3)=(4,7,19,0,0,0) やっと 実行可能解になった 2000年12月 第4回 双対問題

双対辞書 じつは 最終双対辞書 わざわざ双対辞書を作らなくても -z =-1230- 10w1- 10w2-30w3 主問題の最終辞書の目的関数式 z =1230- 4s1 - 7s2- 19s3 における係数符号を反転したもの が最適な双対変数になっている 最終双対辞書 -z =-1230- 10w1- 10w2-30w3 y1 = 4+2/3w1-1/3w2 y2 = 7- 1/3w1+2/3w2 y3 = 19- 1/3w1- 1/3w2+ w3 基底解 (y1,y2,y3,w1,w2,w3)=(4,7,19,0,0,0) 豚肉は百グラム400円 鶏肉は百グラム700円 牛肉は百グラム1900円 とするのが最適な価格付け 2000年12月 第4回 双対問題

双対辞書 双対問題の実行可能領域と双対辞書に対応する基底解の動き 2000年12月 第4回 双対問題

高い方の運賃クラスを Y,安い方の運賃クラスを Q とする. 残席数(図中の数字) を利益最大になるように 顧客に割り振る. 2種類の運賃クラスを考え, 高い方の運賃クラスを Y,安い方の運賃クラスを Q とする. 残席数(図中の数字) を利益最大になるように 顧客に割り振る. 2000年12月 第4回 双対問題

推定需要量 発地-着地(運賃クラス) 略称 需要量の推定値 収益 成田-ホノルル(クラスQ) NaHoQ 80 70000 発地-着地(運賃クラス)  略称   需要量の推定値 収益 成田-ホノルル(クラスQ) NaHoQ 80 70000 成田-ハワイ(クラスQ) NaHaQ   70 85000 成田-マウイ(クラスQ) NaMaQ   50 79000 成田-ホノルル(クラスY) NaHoY 10 115000 成田-ハワイ(クラスY)  NaHaY 20 140000 成田-マウイ(クラスY)  NaMaY 20 130000 Q1.各運賃クラスを何人まで受け付けるか? Q2.就航していないホノルル-ハワイ,ホノルル-マウイの価格は 幾らに設定すれば良いか?何円以上なら受け付けるべきか? 2000年12月 第4回 双対問題

Excel Solver Yクラスはすべて受け入れ.Qクラスは20,20,10を上限に受け入れ. 2000年12月 第4回 双対問題

感度レポート(最適双対変数) NaHoの価値=70000 HoHaの価値=15000 (料金未設定の便) HoMaの価値=9000 (料金未設定の便) 2000年12月 第4回 双対問題

一般論 例えば不等号の向きが逆の場合 超簡単な例 今までに扱ってきた向き 最大化 x1-x2 逆向き 2000年12月 第4回 双対問題

一般論 Lagrange緩和を使うと 最大化 x1-x2+(1-x1)y1+(2-x2)y2 最大化 x1-x2 今までと違うところ 2000年12月 第4回 双対問題

一般論 式変形 最大化 x1-x2+(1-x1)y1+(2-x2)y2 最大化 y1+2y2+(1-y1)x1+(-1-y2)x2 2000年12月 第4回 双対問題

一般論 制約を緩和 最大化 y1+2y2+(1-y1)x1+(-1-y2)x2 最大化 y1+2y2+(1-y1)x1+(-1-y2)x2 この問題の最適値は元の問題の最適値以上になるから 元の問題の最適値と同じ値を求める問題は 2000年12月 第4回 双対問題

一般論 最大化 y1+2y2+(1-y1)x1+(-1-y2)x2 最小化 y1+2y2 これが双対問題,式を変形すると 2000年12月 第4回 双対問題

一般論 最小化 y1+2y2 最小化 y1+2y2 これが双対問題 2000年12月 第4回 双対問題

一般論(その2) 例えば等号がある場合 最大化 x1+x2 最大化 x1+x2 等号は不等号が2つだと思う 2000年12月 第4回 双対問題

一般論(その2) あとはお決まりのコース,まず,制約を目的関数に組み込む 最大化 x1+x2 最大化 x1+x2+(1-x1)y1+(2-x2)y2+(2-x2)y3 2000年12月 第4回 双対問題

一般論(その2) 目的関数を整理し,制約を緩和 最大化 x1+x2+(1-x1)y1+(2-x2)y2+(2-x2)y3 最大化 y1+2y2 +2y3 +(1-y1)x1+(1-y2-y3)x2 2000年12月 第4回 双対問題

一般論(その2) 元の問題と同じ最適値となる問題を生成 最大化 y1+2y2 +2y3 +(1-y1)x1+(1-y2-y3)x2 2000年12月 第4回 双対問題

一般論(その2) ちょっと整理して 最小化 y1+2y2 +2y3 最小化 y1+2y2 +2y3 y2+y3が一つの変数だと思うと, これはどんな値も取れる変数 2000年12月 第4回 双対問題

一般論(その2) さらに整理して 最小化 y1+2y2 +2y3 最小化 y1+2y4 y2+y3=y4とした 2000年12月 第4回 双対問題

おわりに 今日線形計画問題を解くための道具はたくさん提供されている →問題を手作業で解くための方法を覚えることは意味がない 双対性や相補性条件の意義を理解し活用できることこそ重要 2000年12月 第4回 双対問題