決定木-III Occam’s razor(オッカムの剃刀) Minimum Description Length (最小記述長) 枝刈り

Slides:



Advertisements
Similar presentations
Maxent model への挑戦 - 驚きとドキドキ感の理論 - 大野ゆかり Phillips et al. (2006) Maximum entropy modeling of species geographic distributions. Ecological Modeling 190:
Advertisements

Lesson 19. 評価の指標 §B. ROC 曲線. 疾 患 +- 検 査 + a (真陽性) b (偽陽性) - c (偽陰性) d (真陰性)
計量的手法入門 人材開発コース・ワークショップ (IV) 2000 年 6 月 29 日、 7 月 6 ・ 13 日 奥西 好夫
ロボット制御のソフトウェ ア: シミュレータ試作 情報理工学部 情報知能学科 H 207051 中谷聡太郎.
区間グラフにおける区間表現からMPQ-treeを効率よく構成するアルゴリズム
正規表現からのDFA直接構成.
時系列の予測 時系列:観測値を時刻の順に並べたものの集合
人工知能特論 6.機械学習概論とバージョン空間法
得点と打率・長打率・出塁率らの関係 政治経済学部経済学科 ●年●組 ●● ●●.
Problem G : Entangled Tree
音声からの心的状態の推定における 生理心理学的アプローチの導入
「Self-Organizing Map 自己組織化マップ」 を説明するスライド
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
統計的仮説検定 治験データから判断する際の過誤 検定結果 真実 仮説Hoを採用 仮説Hoを棄却 第一種の過誤(α) (アワテモノの誤り)
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
アルゴリズムとデータ構造 補足資料13-4 「2分探索木の追加・削除(ダイジェスト)」
人 工 知 能 第3回 探索法 (教科書21ページ~30ページ)
研修1 組織の規範について 東京コンサル株式会社 担当:事変.
Bias2 - Variance - Noise 分解
Bias2 - Variance - Noise 分解
応用情報処理V 第1回 プログラミングとは何か 2004年9月27日.
日経平均株価の時系列データ分析 B03007 明田 剛慈.
15パズルの解法について 北海道情報大学 情報メディア学部 情報メディア学科 新井山ゼミ  大石 貴弘.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
マイクロシミュレーションにおける 可変属性セル問題と解法
第7章 データベース管理システム 7.1 データベース管理システムの概要 7.2 データベースの格納方式 7.3 問合せ処理.
応用情報処理V 第1回 プログラミングとは何か 2003年9月29日.
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史.
回帰モデル・クラス分類モデルを 評価・比較するための モデルの検証 Model validation
疫学概論 ROC曲線 Lesson 19. 評価の指標 §B. ROC曲線 S.Harano, MD,PhD,MPH.
P2P方式によるオンラインゲームの研究、開発
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
ベイジアンネット混合モデルによる 強化学習エージェントの方策改善
NTTPCCommunications,Inc. 波多浩昭
第25章 単一始点最短路 3節 Bellman-Fordのアルゴリズム
人工知能特論 7.決定木の学習 北陸先端科学技術大学院大学 鶴岡 慶雅.
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
決定木とランダムフォレスト 和田 俊和.
アルゴリズムとデータ構造1 2005年7月15日
第14章 モデルの結合 修士2年 山川佳洋.
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
予測に用いる数学 2004/05/07 ide.
ソースコードの特徴量を用いた機械学習による メソッド抽出リファクタリング推薦手法
意外と身近なゲーム理論 へなちょこ研究室 p.
第9回 優先度つき待ち行列,ヒープ,二分探索木
Processing使用の準備.
検査に関するお知らせ Vol.4-1) 試薬変更について 単純ヘルペスIgMの試薬変更について 日々、変化する検査について、お知らせします
データ構造と アルゴリズム 第七回 知能情報学部 新田直也.
決定木 Decision Tree DT 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
所属集団の変更できる社会的ジレンマ実験について2
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
決定木-II 学習目標 1.○与えられた事例集合から,指定された属性選択基準に基づいて決定木を生成 できる 利得 利得比
盗聴・改ざんに対して耐性を持つ ネットワーク符号化について
論文紹介: “Joint Embedding of Words and Labels for Text Classification”
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
線形判別分析 Linear Discriminant Analysis LDA
第9回 優先度つき待ち行列,ヒープ,二分探索木
ブースティングとキーワードフィルタリング によるシステム要求検出
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
地理情報システム論 第4回 コンピュータシステムおける データ表現(2)
Advanced Data Structure 第3回
アドホックルーティングにおける 省電力フラッディング手法の提案
ゲームのタスクシステム 導入編 レベル2くまー By keychan.
平面走査法を使った 一般線分の 交点列挙アルゴリズム
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの 数学的基礎 3.1 ベイジアンネットワークモデルの概要
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
議論の前提 ある人獣共通感染症は、野生動物が感染源となって直接又は媒介動物を通じて人に感染を起こす。
参考:大きい要素の処理.
Presentation transcript:

決定木-III Occam’s razor(オッカムの剃刀) Minimum Description Length (最小記述長) 枝刈り 事例に適合する仮説のうち,      最も単純なものを優先する Minimum Description Length (最小記述長) モデルの複雑さ+モデルでの学習事例の複雑さ   (木のノード数)   (学習事例に対する誤差) 枝刈り 枝刈り基準  枝刈り対象ノードの順番 アルゴリズム 枝刈りの回数 今回のデモ ○データ:Car ○基準:利得比 ○グラフ:Mode ●検証 ○データ1-13を学習  データ14-26を検証 認識率=1/13 ○データ14-26を削除 ○N-交差検証法,N=1 削除順13, 12, 11, …,1 認識率=3/13 ●なぜシンプル方がいい?  データ14-26を検証 ○ノイズ注入:データ1と2のクラスラベルをいじる ●枝狩りの効果 ○上記のノイズ注入データを使用 ○枝狩り基準 price (1/13)/1 *safety-L (1/13)/2, maincost-R (1/13)/1 maincost (2/13)/3, *safety-R(1/13)/2 person (5/13)/6 ↑1st safeyを枝狩り maincost (2/13)/1 person (5/13)/2 ↑2st maincostを枝狩り ●枝狩りを何回やればいい?

応用例 研究目的 宝探し(クエスト)のゲームにおいて 生理情報 経過時間 移動履歴 達成意欲 合計203の属性から  宝探し(クエスト)のゲームにおいて 生理情報 経過時間 移動履歴 達成意欲 合計203の属性から 心拍数の変化(UP か DOWN) 皮膚電動の変化 (UP か DOWN) を予測

ROC曲線 受信者動作特性曲線 (Receiver Operating Characteristic Curve) True Positive Rate VS False Positive Rate True Positive Rate(陽性率) 「 + 」と判断された「+」事例数           「+」の事例数 False Positive Rate(擬陽性率) 「 + 」と判断された「-」事例数            「-」の事例数