仮想センサによる 広域ネットワーク脅威検出法 2008 年02月08日 　　修士論文審査会 仮想センサによる 広域ネットワーク脅威検出法 早稲田大学大学院 　期間理工学研究科 情報理工学専攻 　 後藤研究室 M1 下田 晃弘

Agenda 研究背景 提案方式 実験結果 まとめ 今後の研究計画 Virtual Dark IP 広域観測と局所観測 広域観測の実験 局所観測の実験 まとめ 今後の研究計画

研究背景 (1) インターネットワーム・DDoS事件 2003年 SQL Slammer 最初の10分間で、対策不備なサーバの90%に感染。 2004年6月15 日 Akamai事件 大規模DDoS攻撃により、Google, Yahoo等のサイトが2時間にわたりアクセス不能。 近年では・・・ ping スキャン、SSH スキャニング 設定不備のサーバを狙ったsyn flood 攻撃 広域のネットワークで発生する攻撃を検出するため、 定点観測システムが世界各地で運用されている。

研究背景 (2) 定点観測システム The Internet システムの構築例 ・JPCERT/CC ISDAS (日本) 研究背景 (2) 　定点観測システム 攻撃パケット Statistics Data ログ The Internet 警告情報の発信 sensor Firewall Database & Analysis Server この図は、本研究でご協力いただいているWCLSCANという定点観測システムのシステム構成です。。 この構成では、まずFirewall機能を持ったセンサをネットワーク上の複数の地点に設置します。 インターネット上から送信される攻撃パケットを、各センサーで収集し、データベースでの分析を踏まえた上で、統計情報や警告情報としてユーザに公開されます。 一般的に定点観測システムと呼ばれるシステムはこのような構成となっています。 Webサイトへの掲載 システムの構築例 ・JPCERT/CC ISDAS (日本) ・警視庁 定点観測システム (日本) ・Internet Storm Center (米国) Distributed Sensors

提案方式 定点観測システムは敷設コストが高い。 提案方式 センサの台数を増やさなければ、観測精度が向上しない。 センサのためのIPアドレス＆サブネット確保が必要 提案方式 仮想センサによる脅威検出システム センサ設置の必要はなく、追加コストは一切無し。

物理センサによる脅威検出 従来の検出手法 末端IPアドレス群で観測 インターネット ・・・ ・・・ 攻撃元 (ボット、ワーム等) 物理センサ センサでは 補足できない 攻撃 攻撃元 (ボット、ワーム等) 物理センサ (数十台程度)

仮想センサによる脅威検出 仮想センサ方式 Virtual Dark IP群 中継ルータで観測 インターネット ・・・ ・・・ 攻撃元 (ボット、ワーム等) 仮想センサ (数万台程度)

脅威検出における本研究の位置づけ 攻撃への対処 ・発信元の特定 ・攻撃の防御、抑制 ・警告の発信 ログ解析・攻撃検知 ・シグネチャ型検知 (パターンファイル) ・アノマリ型検知 (閾値、ベイズ解析 etc) 本論文の 研究対象 データ収集 ・パケットキャプチャ装置 (センサ) ・ファイアウォールのログ ・フロー 情報の収集 (Netflow,　sFlow)

提案方式

仮想センサによる脅威検出の概要 APANネットワーク 仮想センサ Virtual Dark IP 検出 広域観測 局所観測 攻撃元 (ボット、ワーム等) 早稲田大学 学内LAN APANネットワーク APAN: アジア太平洋先端ネットワーク

Dark IP とは？ IN → OUT のパケットは遮断 Attacker Firewall PC Sensor Box Anomaly packets logging DarkIPを利用したセンサーボックスについて説明します。 あるマシンをセンサーボックスにするためには、そのマシンにグローバルIPアドレスが割り振られており、 なおかつ、インターネット上からルーティング可能である必要があります。 それに加え、Firewallのポリシーで、内部から外部へのパケットはすべて遮断し、外部から内部へのパケットは許可するという ２つのルールをセットします。 こうすることで、センサーボックスは受信専用のマシンとなり、 攻撃者にセンサーボックスの存在を気付かれることなく、攻撃パケットの収集を行うことができます。 ・ First we’ll explain about tha Dark IP. ・ Dark IP is a one of the methods for detecting global network incidents. (・) Dark IP address is globally routable on the Internet and the host physically exists. ・ Dark IP is usually implemented as a Sensor Box. ・ Some attackers or worms send anomaly packets to this Sensor Box. ・ Firefall in the Sensor Box accept all incomming packets and block all outgoing packets. ・ Firefall logs the information about some packets. ・ 攻撃者は攻撃パケットを送信しますが、DarkIPは一切の応答パケットを返しません。そのため攻撃者はセンサーボックスの存在に気づくことはありません。 No response Attacker Firewall PC Sensor Box (Dark IP) OUT → IN のパケットは許可

Virtual Dark IPの検出 一方向通信 仮想センサ (Virtual Dark IP) 通常のサーバ 通常の通信ホスト 双方向通信 攻撃パケット送信元 一方向通信 次に仮想センサを検出する仕組みについて説明します。 この提案方式では、バックボーンなどの経路上に設置されたルータで収集されるフローの中から、 応答を返さないIPアドレスを検出し、それらをセンサとして利用します。 ここで検出されたIPアドレスのことを、私どもでは仮想センサもしくは、Virtual Dark IP と呼んでいます。 具体的にはフロー情報の中から、サービスを提供しないサーバや実在しないホストに対して送信される一方向のフローを検出して、その送信先となっているIPアドレスを仮想センサとみなします。 --- (x) ワームの一部には、感染活動の一環として、送信先の存在をチェックせずに攻撃パケットを送信するものがあります。 仮にワームのパケットが、サービス未提供のサーバや実在しないホストに送信された場合、当然一切の応答パケットが返されないため、 経路上のルータでは一方向のフローとして認識されます。 仮想センサではこのような一方向のパケットを主に攻撃パケットとして検出しますが、一部のUDPパケットなど、一方向通信になりうるトラフィックも存在します。、 そのようなケースに関しては、送信元IPアドレスなどをチェックするなどして、例外的なトラフィックを局力排除する仕組みを取り入れています。

Dark IPで観測可能な不正パケット パケット 正常パケット 不正パケット 悪意のあるパケット Ping/Host スキャン DDoS 反射パケット ワーム・ボット 悪意のないパケット サーバやクライアントの設定ミス 実験などにより送信されるパケット

脅威検出システムの実装 VP : Virtual Dark IP Address リアルタイム or オフライン入力 検出結果 入力モジュール 仮想センサ検出モジュール SRC IP キャッシュ libpcap library VP候補IPアドレス検出 for 局所観測 (Packet Capturing) VP 候補 データベース flow-tools library VP IPアドレス検出 for 広域観測 (Netflow Capturing) VP　 データベース 不正パケット抽出モジュール 検出結果 次に、広域観測と局所観測の違いについて説明します。 異常値のフィルタリング 不正パケットログ データベース 不正パケットログの記録 VP : Virtual Dark IP Address

実験(1) 広域観測

広域観測の測定環境 APAN-JP Wide Area Network Autonomous System 仮想センサ Anomaly packets A worm infected host Scanning packets 中継ルータ (フロー観測対象) An malicious host 観測実験は、東京大手町のビルの中に設置された、APAN-JPが管轄するルータで行いました。 このルータには常時1Gbps程度のトラフィックが流れており、1/100 のサンプリングでNetflowを収集しています。 ・This figure is to explain the observation environment of our experiments. この図は、実験における観測環境を説明したものです。 ・We have applied our new method to the captured packets from June 1, 2006 to September 20, 2006 at one of the APAN-JP routers. 私たちは、APAN-JPルータの１つにおいて、2006/6/1 から 2006/9/20 にかけてキャプチャされたパケットに対して、提案手法を適用しました。 ・The average bandwidth of the router is about 680Mbps. ルータの平均スループットは680Mbpsです。 ・The packets that we can see is restricted to the packets which pass through the target router. (欠点として) 私たちが観測できるパケットは、観測対象のルータを通過するパケットに限られてしまします。 APAN-JP Wide Area Network トラフィック収集方法: Netflow 測定期間: 2006/06/01 - 2006/10/25 サンプリング間隔: 1/100 Autonomous System

仮想センサ検出アルゴリズム 仮想センサ 候補 送信者リスト 仮想センサ 未検出 or 未観測 広域観測用 この図は、先ほどのシステムにありました仮想センサの検出アルゴリズムの説明図です。 このアルゴリズムでは、未観測、仮想センサ候補、仮想センサ、送信者リストの ４つの状態遷移によって表されています。 ここで緑の矢印は、フローに含まれる送信先IPアドレスが、 仮想センサとみなされるまでのプロセスを表しています。 赤の矢印は、一定期間フローが観測されないIPアドレスを、 仮想センサやその候補のリストから取り除くプロセスを表しています。 青の矢印は、フローのIPアドレスが送信元であった場合に、 そのIPアドレスを送信元としてマークするという処理を表しています。 これは、例えばある日まで未使用だったIPアドレスが、ある日を境に突然 使われるようになったというケースに対応することができます。 // このアルゴリズム送信者リストを用意している理由ですが、 これはシステムを高速化するためのキャッシュとして用意しています。 フローのIPアドレスを観測していると、何十万のIPアドレスに対してマッチングを行わなければなりません。 キャッシュを用意していると、ハッシュのマッチングだけで 実際のシステムではこれに加えて、最適化のためのパラメータをいくつか用意していますが、 発表時間の関係で省略させていただきます。 ・We will explain the algorithm of locating virtual sensors. 仮想センサ検出のアルゴリズムを説明します。 ・Located Virtual Sensors are registered to the list of Virtual Sensors. 検出された仮想センサは、Virtual Sensors のリストに登録されます。 ・Virtual Sensors Candidates is the intermediate state for applying some constraints before locating the virtual sensors. 仮想センサ候補は、仮想センサ検出の前に、一定の制約を設けるために存在する、中間的な状態です。 ・SendersList is prepared as a cache to diminish the load of the system, memorizing the servers that send some packets. 送信者リストはパケットを送信しているサーバを記憶し、システムの付加を軽減するために、キャッシュとして用意されている状態です。 ・Green colored arrows are the process of locating Virtual Sensors. 緑色の矢印は、仮想センサを検出する流れを表しています。 ・Red colored arrows are the process that to absorb timeout or no longer communicating sensors from the each lists. 赤い矢印は、タイムアウトもしくは、通信を行っていないセンサを、それぞれのリストから取り除くための処理です。 ・Blue colored arrows are the process for memorizing the packet sender. 青い矢印は、パケット送信者を記憶する際の処理です。 (※”処理”ではなく、”状態遷移”というべきかもしれません。) ・In each of these state transition, we use some parameters to control the behavior of the system. それぞれの状態遷移において、システムの動作をコントロールするために、いくつかのパラメータを使用しています。 送信者リスト 仮想センサ

仮想センサ検出個数 このグラフは、仮想センサの検出個数を示したグラフです。 今回作成したシステムは仮想センサーを学習していく仕組みを取り入れているので、 検出個数ははじめの0の状態から次第に増加していき、平均3万個ほどで推移します。 ・This plot show the relations of the number of virtual sensors and the parameter of Life Timer. この図は、仮想センサの個数と、Life Timer の関係について示しています。 ・Since our system heuristically learns the virtual sensors, the number of sensors are gradually increase since the stating period. 私たちのシステムでは仮想センサーをヒューリスティックに学習するため、(学習が進んだ結果、) センサの個数は(システムの)開始時間から徐々に増加しています。 ・Life Time is the period until deleting the sensors which have not been observed any flow for certain time, from all lists. Life Time は、一定期間フローが観測されないセンサのIPアドレスを、すべてリストから消去するまでの 時間です。 (※ state N は状態遷移を表すために便宜的に用意した状態であり、プログラム上ではIPアドレスのリストとしては保持していない。 したがって state Nに移動することは、そのIPアドレスが消去されることと同義。) ・In this experiments, we generally use the 10days parameter after several trials. 本実験では、何度かの試行から得られた結論として、10 days のパラメータを主に使用している。

Comparison – Port 445/tcp WCLSCAN: 定点観測システム (日本) ISC: Internet Storm Center

パケット数の比較 – Port 135/tcp この図は、WCLSCANとInternet Storm Center の2つの定点観測システムと、 135番ポート宛ての攻撃パケット検出個数を比較したものです。 ただ事前に断わらなければならないことは、いずれのセンサも観測地点と観測方法が異なっていますので、 収集されるデータにも違いが生じています。ただし、この135番ポートに関しましては、 提案方式とWSCSCANの両者のグラフはかなり類似しています。 他の主なポート番号で同様に比較を行いました。観測データは厳密には一致しませんが、 Certからの警告情報が発せされるような、非常に大規模に攻撃が発生している場合などは、 その傾向をグラフ上で把握することができます。 ・This plot is the comparison of our experiments with other known systems. この図は、私たちの実験結果を他のシステムと比較したものです。 ・The comparison of the results is not perfect, since each threat detection systems uses different data obtained at different observation points. 結果の比較は完ぺきではありません。なぜなら、個々の脅威検出システムは、それぞれ別の観測点で得られた異なるデータを使用しているからです。 ・Despite of these uncertain factor, we verified certain similarity between our Virtual Sensors and existing Physical sensors. このような不確定要素にも関わらず、私たちは仮想センサと物理センサの間で、データの一部に類似点が存在することを確認しました。

Comparison – Port 139/tcp

実験(2) 局所観測

局所観測の実験環境 インターネット 学内バックボーン 仮想センサ群 早稲田大学ネットワーク Gateway 攻撃元 トラフィック収集方法:　パケットキャプチャ 測定期間: 2008/01/26 - 2008/02/01 フィルタ条件: synフラグ無しのTCPパケットを除く パケット収集装置 仮想センサ群 早稲田大学ネットワーク

観測対象の組織に属する全IPアドレスを登録 仮想センサ検出アルゴリズム 局所観測用 早稲田大学のサブネット133.9.0.0/16 -> 初期状態として65534個のIPアドレス を登録 観測対象の組織に属する全IPアドレスを登録 Virtual Dark IP 候補 timer (t1) 経過 Virtual Dark IP timer (t2) 経過 通信を検出 通信を検出 通信中ＩＰアドレス

ゲートウェイ観測 Virtual Dark IPの数 VP host num

ゲートウェイ観測 通信中ホストの数 昼 夜 昼 夜 昼 夜 昼 夜 昼 土 日 月 火 水

ゲートウェイ観測 22/tcp

ゲートウェイ観測 445/tcp

ゲートウェイ観測 1026/udp

まとめ 仮想センサ検出方式 新規センサ設置の必要がなく、物理リソース削減。 膨大な仮想センサにより観測精度向上。 広域観測 局所観測 定点観測システムのデータとの類似点を確認。 本当に攻撃パケットなのかという、誤検出に関する検証が必要。 局所観測 センサ個数の増減と、未使用IPアドレスに対するパケットの検出に成功。 IDS (シグネチャ式) との併用と比較により、攻撃が正しく検出できているかという検証が必要。 まとめです。仮想センサ検出方式の大きな特徴は、 既存のルータ設備を活用することで、新たにセンサを設置することなく、 低コストで脅威の検出ができる点です。 今回は、観測地点が異なるため、厳密な意味での比較はできませんでしたが、 他の定点観測システムとの比較を実施したところ、 ポート番号や特定の期間においてデータの類似性が確認され、 かなり部分的にですが提案手法の有効性示されました。 3点目の利点としまして、仮想センサー検出方式はデータソースに、Netflow を利用していますので、 広帯域トラフィックの脅威検出にも応用可能です。 今後の予定としましては、 同一観測地点における物理的なセンサと仮想センサの観測結果を 比較し、false-positive値など、観測精度に関する調査を引き続き行う予定です。

今後の研究計画

Virtual Dark IP の体系化 Dark IP を脅威検出に利用する試み 国際会議First, 米国REN-ISAC が共同研究中 The IUCC/IDC Internet Telescope Dark IPと同義: Unused IP address, Darknet, Dark IP space, トラフィック情報からDark IPを検出するアイデアを述べた論文は、これまで存在しない。 早急にアルゴリズムの確立と検証を行う必要がある。

投稿論文 ■ Akihiro Shimoda and Shigeki Goto Virtual Dark IP for Internet Threat Detection, APAN Network Research Workshop 2007, pp.17—23, Autgust 2007. ■ 下田 晃弘、 後藤滋樹 広域ネットワークにおけるフロー解析に基づく脅威検出法 FIT2007 第６回情報科学技術フォーラム 査読付論文 LL-001 2007年9月

研究計画 (目標) 2008年 ・ 3月 ゲートウェイ観測の実装と検証 →検証結果をFIT2008に投稿予定 ・ 4月 仮想センサのアルゴリズム改良と検証 ・ 6月 広域・局所観測の統合システムの 開発と運用 ・ 8月 ジャーナル論文への投稿

広域・局所観測を連携させた、 高次元ネットワーク・センシング手法の確立 仮想センサ群 攻撃元の特定 広域観測 攻撃検出 局所観測 APANネットワーク 早稲田大学 学内LAN SINET 攻撃元 (ボット、ワーム等)

ご清聴ありがとうございました。

補足資料

Comparison – Port 22/tcp

Comparison – Port 80/tcp

Parameter – Limit Timer ・Limit timer is the parameter that works only in the list of Virtual Sensors. Limit timer は、Virtual Sensors リストにおいてのみ有効なパラメータです。 ・Limit timer is to aggregates continuously counted flows caused by miss-detected virtual sensors into fewer count. Limit timer は誤検出された仮想センサによってもたらされた、連続したフローのカウントを、より少ない回数に集約します。 ・The value of Limit timer means the unit in period on aggregation of flows. Limit timer の値は、フローの集約単位を時間で表したものです。 ・In this plot, we can see Limit Timer would diminish the spike that may be caused by miss-detected virtual sensors. この図より、Limit Timer が 誤検出された仮想センサによって引き起こされたと思われるパイクを軽減していることがわかります。

広域観測と局所観測 インターネット 組織内ネットワーク 稼働中のホスト群 停止中、IPアドレス未割当のホスト群 (検出対象) 攻撃元ホスト パケット収集装置 稼働中のホスト群 不正パケット送信 不正パケット 攻撃元ホスト Gateway ルータ 停止中、IPアドレス未割当のホスト群 (検出対象) インターネット 組織内ネットワーク

研究の進め方 現時点における仮想センサの課題 脅威検出の研究における大きな壁 仮想センサを誤検出した場合、通常の通信を攻撃を誤判定してしまう場合がある。 大雑把な攻撃の有無のみ判別可能。 脅威検出の研究における大きな壁 検出結果の比較対象が存在しない。 ワーム・ウイルスの攻撃はほぼランダム。 他の研究機関との情報交換が欠かせない。