実験計画法 Design of Experiments (DoE)

Slides:



Advertisements
Similar presentations
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
Advertisements

データ分析入門(12) 第12章 単回帰分析 廣野元久.
寺尾 敦 青山学院大学社会情報学部 社会統計 第13回 重回帰分析(第11章後半) 寺尾 敦 青山学院大学社会情報学部
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
多変量解析 -重回帰分析- 発表者:時田 陽一 発表日:11月20日.
補章 時系列モデル入門 ー 計量経済学 ー.
研究集会 「超大規模行列の数理的諸問題とその高速解法」 2007 年 3 月 7 日 完全パイプライン化シフト QR 法による 実対称三重対角行列の 固有値並列計算 宮田 考史  山本 有作  張 紹良   名古屋大学 大学院工学研究科 計算理工学専攻.
Bassモデルにおける 最尤法を用いたパラメータ推定
回帰分析.
第6章 数量化I類.
第3章 重回帰分析 ー 計量経済学 ー.
第3章 重回帰分析 ー 計量経済学 ー.
確率・統計輪講資料 6-5 適合度と独立性の検定 6-6 最小2乗法と相関係数の推定・検定 M1 西澤.
高校数学の知識から、 人工知能・機械学習・データ解析へ つなげる、 必要最低限の教科書
変数選択手法っていろいろあるけど 何を使えばいいの?
Generative Topographic Mapping (GTM) でデータの 可視化・回帰分析・モデルの 逆解析を一緒にやってみた
回帰モデル・クラス分類モデルを 評価・比較するための モデルの検証 Model validation
補章 時系列モデル入門 ー 計量経済学 ー.
プロセスデータ解析学2 -単回帰分析- 担当:長谷部伸治     金 尚弘.
スペクトル・時系列データの前処理方法 ~平滑化 (スムージング) と微分~
ガウス過程による回帰 Gaussian Process Regression GPR
第6章 カーネル法 修士2年 藤井 敬士.
相関分析.
データ解析 静岡大学工学部 安藤和敏
市場規模の予測.
Fuzzy c-Means法による クラスター分析に関する研究
 統計学講義 第11回     相関係数、回帰直線    決定係数.
モデルの適用範囲 モデルの適用領域 Applicability Domain (AD)
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
T2統計量・Q統計量 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
最小自乗法.
主成分分析 Principal Component Analysis PCA
市場規模の予測.
決定木 Decision Tree DT 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
2009年12月4日 ○ 前田康成(北見工業大学) 吉田秀樹(北見工業大学) 鈴木正清(北見工業大学) 松嶋敏泰(早稲田大学)
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
Black Litterman Modelによる最適化
部分的最小二乗回帰 Partial Least Squares Regression PLS
Genetic Algorithm-based Partial Least Squares GAPLS Genetic Algorithm-based Support Vector Regression GASVR 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
第3章補足2 多変量データの記述 統計学基礎 2010年度.
線形判別分析 Linear Discriminant Analysis LDA
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
ベイズ最適化 Bayesian Optimization BO
Stepwise (ステップワイズ) 法による 説明変数 (入力変数・記述子・ 特徴量) の選択
情報経済システム論:第13回 担当教員 黒田敏史 2019/5/7 情報経済システム論.
データ解析 静岡大学工学部 安藤和敏
サポートベクターマシン Support Vector Machine SVM
自己組織化マップ Self-Organizing Map SOM
最尤推定・最尤法 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
遺伝的アルゴリズム (GA) を活用した スペクトルの波長選択および時系列 データにおけるプロセス変数かつその時間 遅れ (ダイナミクス) の選択 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
HMM音声合成における 変分ベイズ法に基づく線形回帰
重みつきノルム基準によるF0周波数選択を用いた Specmurtによる多重音解析
データ解析 静岡大学工学部 安藤和敏
原子核物理学 第7講 殻模型.
最小二乗法による線形重回帰分析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
リッジ回帰(Ridge Regression, RR) Least Absolute Shrinkage and Selection Operator (LASSO) Elastic Net (EN) 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
誤差逆伝播法による ニューラルネットワーク (BackPropagation Neural Network, BPNN)
Locally-Weighted Partial Least Squares LWPLS 局所PLS
モデルの微分による非線形モデルの解釈 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
パターン認識特論 カーネル主成分分析 和田俊和.
Boruta 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
市松模様を使用した カメラキャリブレーション
高校数学の知識から、 人工知能・機械学習・データ解析へ つなげる、 必要最低限の教科書
転移学習 Transfer learning
混合ガウスモデル Gaussian Mixture Model GMM
外れ値検出 Outlier Detection 外れサンプル検出 Outlier Sample Detection
Presentation transcript:

実験計画法 Design of Experiments (DoE) 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌

実験計画法とは? 効率的に実験もしくはシミュレーションをして、目的を達成するための 方法 効率的に実験もしくはシミュレーションをして、目的を達成するための 方法 実験パラメータのすべての組み合わせの中から、いくつかの組み合わせを、 情報量がなるべく大きくなるように選択する 選択された実験パラメータの組み合わせで実験したあとに、 仮想的な実験を行うためのモデルを構築する モデルに基づいて、次の実験 (シミュレーション) を計画する 実験計画と実験 (シミュレーション) とを繰り返すことを、 適応的実験計画法という

実験計画法のイメージ 1/3 化学反応 A + B → C + D の、 C の収率を上げたい! 反応温度 25℃ で実験すると収率は ばらつくため、複数回実験する 必要がある 3回が多い 反応温度20℃・30℃・35℃・40℃・45℃・50℃でもやってみたい! 収率を最大にする反応温度があるのでは!? 3×7 回 反応時間・触媒の量もいろいろ変えて、収率が上がるか確認したい! 3×73 = 1029 回!?

実験計画法のイメージ 2/3 いったん落ち着いて考えよう 収率を最大化する前に、モデル f 収率 = f(反応温度、反応時間、触媒の量) を求めることを目標にしたらどうか!? このモデルがあれば、反応温度、反応時間、触媒の量を 変えたときに収率がどうなるか、実験せずに確認(シミュレーション)できる! シミュレーションの結果、収率が最も大きい条件で実験しよう!

実験計画法のイメージ 3/3 たとえば線形モデルであれば、 収率 = a1×反応温度+a2×反応時間+a3×触媒の量+定数項 と仮定 最低 3 回! 実際はもっと実験回数が多かったり、線形モデルではなく モデルに非線形項 (交差項・二乗項) を入れるなど、 非線形モデルにしたりする 適応的実験計画法 モデリングと実験とを繰り返す

実験パラメータの候補をどのように選択するか? 実験パラメータである説明変数 X と収率などの目的変数 y との 間で、良好な回帰モデルが構築できるように選択する 回帰モデルとは?・・・最小二乗法による重回帰分析を仮定する 回帰モデルは、(XTX)-1XTy で与えられる 最小二乗法による重回帰分析の詳細についてはこちら https://datachemeng.com/ordinaryleastsquares/ y のデータがない (まだ実験していない) 状況で、どのように “良好な” モデルであると判断するか? (XTX)-1 に着目

D 最適基準が大きくなるように選択する (XTX)-1 に着目 この逆行列が計算できないと、そもそも回帰モデルが得られない 逆行列が計算できない状況に近いと、回帰モデルは “良好でない” と考えた 逆行列が計算できない状況・・・ XTX の行列式 ( det(XTX) ) が 小さい状況 XTX の行列式を D 最適基準とよび、 XTX の行列式が大きくなるように 実験パラメータの候補を選択する! これなら X のデータのみから選択できる♪

どうやって実際に選択するか? 実験計画を立てるための MATLAB や Python のプログラムを 作りました! https://github.com/hkaneko1985/design_of_experiments

プログラムの使い方 variable1, variable2, …:実験パラメータの種類 (反応温度、 反応時間、触媒 など) number_of_experiments:選択する実験パラメータの候補の数 実行内容 variable1, variable2, … のすべての組み合わせを出して、 all_experiments.csv に保存 その中からD最適基準が大きくなるように number_of_experiments だけ選択して、 selected_experiments.csv に保存

実験もしくはシミュレーションの後は? 選択された実験パラメータの候補での実験もしくはシミュレーションが 終わったとする 選択された実験パラメータの候補での実験もしくはシミュレーションが 終わったとする その後は、ベイズ最適化で次の実験パラメータの候補を選択する 適応的実験計画法 ベイズ最適化の詳細についてはこちら https://datachemeng.com/bayesianoptimization/

[補足] D 最適基準以外の最適基準の例 A 最適基準:XTX の逆行列の対角成分の和を最小化 E 最適基準:XTX の固有値の最小値を最大化 I 最適基準:XT(XTX/m)-1X の対角成分の平均値を最小化 m : サンプル数 minimax 基準:XTX の対角成分の最大値を最小化