◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所)

Slides:



Advertisements
Similar presentations
橋本. 階級値が棒の中央! 階級値 図での値 階級下限階級上限
Advertisements

土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
統計学 西山. 標本分布と推定 標準誤差 【例題】 ○○ 率の推 定 ある人気ドラマをみたかどうかを、 100 人のサンプルに対して質問したところ、 40 人の人が「みた」と答えた。社会全体 では、何%程度の人がこのドラマを見た だろうか。 信頼係数は95%で答えてください。
放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
数理統計学(第四回) 分散の性質と重要な法則
多変量解析 -重回帰分析- 発表者:時田 陽一 発表日:11月20日.
CCC DATAset における マルウェアの変遷
確率・統計Ⅰ 第11回 i.i.d.の和と大数の法則 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
ISDASインターネット分散観測: ワームの平均寿命はいくらか?
Finger patternのブロック化による 陰的wavelet近似逆行列前処理の 高速化
論文紹介 “Data Spectroscopy: Learning mixture models using eigenspaces of convolution operators” (ICML 2008) ─ by Tao Shi, Mikhail Belkin, and Bin Yu IBM東京基礎研究所.
第四回 線形計画法(2) 混合最大値問題 山梨大学.
統計解析 第9回 第9章 正規分布、第11章 理論分布.
AllReduce アルゴリズムによる QR 分解の精度について
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
時空間データからのオブジェクトベース知識発見
流れ(3時間分) 1 ちらばりは必要か? 2 分散・標準偏差の意味 3 計算演習(例題と問題) 4 実験1(きれいな山型の性質を知ろう)
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
放射線の計算や測定における統計誤差 「平均の誤差」とその応用(1H) 2項分布、ポアソン分布、ガウス分布(1H) 最小二乗法(1H)
回帰分析.
確率・統計輪講資料 6-5 適合度と独立性の検定 6-6 最小2乗法と相関係数の推定・検定 M1 西澤.
第12章 連続潜在変数 修士 1年 村下 昇平.
フィージビリティスタディにおける シミュレーション
ガウス過程による回帰 Gaussian Process Regression GPR
第6章 カーネル法 修士2年 藤井 敬士.
相関分析.
高次元データの解析 -平均ベクトルに関する検定統計量の 漸近分布に対する共分散構造の影響-
線形代数学 谷津 哲平 第1章 ベクトル 1.1 ベクトル空間 1.2 ベクトルの一次独立性 1.3 部分ベクトル空間
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
パケットキャプチャーから感染種類を判定する発見的手法について
第9章 混合モデルとEM 修士2年 北川直樹.
正規分布確率密度関数.
主成分分析 (Principle Component Analysis)
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
独立成分分析 (ICA:Independent Component Analysis )
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
標本分散の標本分布 標本分散の統計量   の定義    の性質 分布表の使い方    分布の信頼区間 
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
主成分分析 Principal Component Analysis PCA
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
C11: 不正アクセスパケットの可視化 シャボン
マルウェアの通信履歴と 定点観測の相関について
早稲田大学大学院商学研究科 2014年12月10日 大塚忠義
不完全な定点観測から 真の不正ホストの分布が分かるか?
ウィルスって どの位感染しているのかな? 菊池研究室  小堀智弘.
4. システムの安定性.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
ボットネットはいくつあるか?ダウンロードログからの線形独立な基底数
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
問題作成、解説担当:中島 副担当:坪坂、松本
データ解析 静岡大学工学部 安藤和敏
第5回 確率変数の共分散 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
分散ハニーポット観測からのダウンロードサーバ間の相関ルール抽出
ウィルスの感染先探索活動を可視化するツール“PacketViewer”の開発
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
ボットネットの国別マルウェア活動時間 なぜインドからの攻撃は日本時間で行われるか?
分散ハニーポット観測からのダウンロードサーバ間の相関ルール抽出
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所) 不正ポートスキャンの直交展開 ◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所)

目次 研究の動機 提案方式の原理 実験結果 研究の動機 提案方式の原理 実験結果

ポートスキャンと定点観測センサ S1 S2 S3 445 445 137 80 25 80 139 80 135 135 135 445 m1 m2 m3

センサの観測パケット 宛先ポートごとのパケット数は一様ではなく、ポート間は独立ではない ポート センサ 平均 S1 S2 S3 135 82 41 6 43 445 61 30 14 35 ICMP 3 120 139 8 11 9 80 2 89 31

ポート間が独立でない理由 ワーム ポート 135 445 1434 Gaobot ○ Blaster Slammer …

研究目的 ポート間の関係を明らかにする 観測データの効率的な解析を可能 センサの分布や環境による変化

本研究のアプローチ 観測ベクトルの直交基底と直交展開

直交基底 基底 g1 基底 g2 観測ベクトル 135 445 1434 直交性: (g1,g2)=0

目次 研究の動機 提案方式の原理 実験結果

直交展開の応用 観測ベクトルの近似 観測値スペクトル解析 欠損データの補完 観測ベクトルの圧縮や近似を行う センサの分布や時刻による変化 欠損したポートデータを他のポートの観測値から予測する

欠損ポートの問題 ポートフィルタリング パケット数が人工的に減少する(観測誤差) s1 s2 s3 s4 P1 P2 P3 10 15 10 本当はいくつ? P1 P2 P3 10     15    10 18 8 ポート 24     25    28 14     20     16

基本定義:観測ベクトル n g0 s1 s2 s3 a1 a2 a3 p1 p2 p3 10 15 11 12 6 17 4 6 8 10 15 11 12 6 17 4 6 8 15 20 16 m

欠損ポートの補完原理 ポート g0 平均 欠損 s P1 20 40 P2 30 P3 6 10

直交基底の算出 共分散行列 M = Σa’i・a’iTの固有値λ1,λ2 ,・・・と固有ベクトルg1, g2, ・・・   (ただし、 λ1 ≧ λ2 ≧ ・・・ )  性質 1、正規性 ||g|| = 1 (単位ベクトル)      2、直交性 (gi ,gj) = 0 (内積)      3、誤差 Σ(ai - cgi)2 → 最小化

直交展開と線形結合 どの成分についても a = g0 + c1g1 + c2g2 + ・・・ a c1,c2,・・・   ( g0 , g1 , g2) ci = (a , gi) で表現できる 線形結合 直交展開 ・・・ 展開

応用1:観測ベクトルの近似 a(k) = g0 + Σ cigi 第k次近似 a c1,c2,・・・,cm 直交展開 低周波成分 高周波成分

応用2:観測ベクトルのスペクトル解析 a c1,c2,・・・,cm 直交展開 特徴量

欠損ポートの近似 欠損したデータ と表せる。直交基底より が成立する。これをxについて解くと次が成立する 真値 未知係数 10 20 6 10  20  6 0  1  0 - 20 と表せる。直交基底より エラーベクトル が成立する。これをxについて解くと次が成立する

目次 研究の動機 提案方式の原理 実験結果

実験データ JPCERT/CC 定点観測システム( ISDAS ) センサ数30台 アドレス空間上で独立になるように分散した正規ホスト 観測期間2005/10/1-2006/3/31(6ヶ月)

ポートスキャンパケットの直交基底 g1 g2 g3 g4 135 0.803 -0.017 -0.103 0.057 445 0.580 0.044 0.033 -0.111 ICMP -0.034 0.872 -0.002 -0.114 139 0.069 0.234 -0.224 0.421 80 -0.008 0.332 -0.135 0.131 1026 0.084 0.054 0.683 -0.350 1433 0.045 0.081 -0.004 -0.016 … 1030 0.001 0.003 0.038 -0.02

(1)近似収束: s01の原観測ベクトルと第1、第5近似

(2)スペクトラム解析:センサの分布

(3)欠損ポートと補完

補完の誤差の分布

補完の精度 センサ数 m 28 平均 μ 15326 誤差平均 μ(x-ai2) 標準偏差 σ( x-ai2 ) 3302 平均 μ 15326 誤差平均 μ(x-ai2) 標準偏差 σ( x-ai2 ) 3302 MAX (x-ai2 ) 10083 誤差率 2σ/μ(ai2) 0.43

まとめと課題 まとめ 観測ベクトルのポート間の関係表す独立した直交基底を求め、その応用を3つ示した 実観測データを用いて提案方式の実験を行った 課題 実際のネットワーク環境ではポートの遮断は1つとは限らない。

直交基底 g0、a’j、Mの求め方 g0 a’j S P Mより、固有値を算出する s1 s2 s3 a1 a2 a3 p1 p2 p3 a1n p1 p2 p3 10 15 11 12 6 17 -2 3 -1 4 6 8 -2 0 -2 am1 amn 15 20 16 -2 3 -1 Mより、固有値を算出する

原データとの平均二乗誤差

c1 とc2 軸上のセンサの散布図 (東海大)

(2)時間推移:3つのセンサのc1とc2上の推移 2005 年10月から1ヶ月毎

センサs1の月毎の直交成分cの推移

センサとc1の関係

提案方式と実データの比較