平成14年度第1回統数研／総研大「経済学」研究会 プログラム 日時：2002年7月19日1：00‐2：00 ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//www.quasars22.co.jp 平成14年度第1回統数研／総研大「経済学」研究会 プログラム 日時：2002年7月19日1：00‐2：00　

ティックデータとは一般的には呼び値のことである。 単一の価格 買値と売値 買値または売値 買値、売値、取引価格 中値

ティックデータの用途 トレーディング トレーディングシミュレーション 学術研究 リスクマネージメント

Berkeley Options Database ティックデータ 入手先 Olsen　Data　AG　：高頻度データ提供会社 http://www.olsendata.com CQG　：　チャート・グラフィクス提供会社 http://www.cqg.com 　GTIS　http://www.realtimedata.ch/financial.htm Berkeley Options Database http://www.haas.berkeley.edu/finance/opdata.htm

データエラー 人為的なエラー 故意のエラー 故意ではないエラー システムエラー ティックデータ データエラー 人為的なエラー 故意のエラー 故意ではないエラー システムエラー

ティックデータ Decimal Errors Test Quotes Repeated Quotes Quote Copying Scaling　Problem

フィルター・クリーニングの必要性 エラーの存在 さまざまな分布形状 データの出所の違いと信頼性 時間間隔の複雑性 建値情報の意味の違い ティックデータ フィルター・クリーニングの必要性 エラーの存在 さまざまな分布形状 データの出所の違いと信頼性 時間間隔の複雑性 建値情報の意味の違い

フィルター・クリーニングの役割 悪いデータを除く 悪いデータを訂正する データのクオリティーを判断する ティックデータ フィルター・クリーニングの役割 悪いデータを除く 悪いデータを訂正する データのクオリティーを判断する

ティックデータ 学術研究 ： データのクオリティー リスクマネージメント ： データの定常性 トレーディング 学術研究 ： データのクオリティー トレーディング シミュレーション　 ： データの取引可能性 ・トレーディング リスクマネージメント ： データの定常性

手法１ 目視によるチェック システムと目視によるチェック システムだけによるチェック ティックデータ 手法１ 目視によるチェック システムと目視によるチェック システムだけによるチェック

手法２ 単一の市場のデータ 単一のデータ 複数のデータ 複数の市場データ ティックデータ 手法２ 単一の市場のデータ 単一のデータ 複数のデータ 複数の市場データ

HFDF-1993 Data Set Description ティックデータ HFDF-1993 Data Set Description CCYY-MM-DD 　(GMT) 　　bid 　　　ask　 country/city bank filter 1990-03-25 　　　　23:59:14 1.7188 1.7198 　344 01 0000 1 1990-03-25 　　　　23:59:30 1.7185 1.7195 　036 02 0058 1 1990-03-25 　　　　23:59:38 1.7190 1.7200 　392 01 0053 1 1990-03-25 　　　　23:59:44 1.7190 1.7195 　344 01 0056 1 1990-03-25 　　　　23:59:56 1.7185 1.7192 　036 02 0065 1 http://www.olsendata.com/

ティックデータ http://www.cqg.com CQG Contract Date Session Time Price (T) (M) (C) JY1995U 19950731 0 1730 11424 A N N JY1995U 19950731 0 1730 11413 B N N ... JY1995U 19950731 1 0002 11376 B N N JY1995U 19950731 1 0002 11394 A N N JY1995U 19950731 2 0720 11465 T N N JY1995U 19950731 2 0720 11464 T N N http://www.cqg.com

為替のティックデータの例 ドル円 頻度分布（価格の差） 為替のティックデータの例 ドル円　頻度分布（価格の差）

為替のティックデータの例 ドル円 頻度分布％（価格の差） 為替のティックデータの例 ドル円　頻度分布％（価格の差）

為替のティックデータの例 ドル円 頻度分布（価格の差） 為替のティックデータの例 ドル円　頻度分布（価格の差）

為替のティックデータの例 ドル円 頻度分布（スプレッド） 為替のティックデータの例 ドル円　頻度分布（スプレッド）

為替のティックデータの例 ドル円 頻度分布％（スプレッド） 為替のティックデータの例 ドル円　頻度分布％（スプレッド）

為替のティックデータの例 銀行ではアシスタントディーラーがデータインプット それぞれのベンダーに対して異なる人がインプット ブローカーのボイスをそのままリピートすることもある インプットする人のポジションが故意に価格に影響する 1993年以前は大台もインプット、現在は大台は自動的に入る ブローカーにおいてもほぼ同じことが言える。

生データー＞第１フィルター ー＞計算ー＞第2フィルター ー＞クリーンデータ

特徴 Trust Capitalの導入 指数移動平均 時間の重視 ボラティリティ－の予測 ファットテイル 時間枠 データの訂正 olsendata 特徴 Trust　Capitalの導入 指数移動平均 時間の重視 ボラティリティ－の予測 ファットテイル 時間枠 データの訂正

olsendata 生データ 計算 最も単純な チェック Scalar filtering window の決定 EMAの計算期間が決まる Expected　Volatiltiyの計算期間が決まる 新しいデータが計算期間に加わるかどうかは Level filterとpair filtering により決まる。 古いデータは300日後には自動的に排除 P>0 BidOfferSpread>0 　質のよいデータであれば期間は短い 　このWindowに含まれ　るデータの信頼性 　　は新しいQuoteが来るたびに変わる 　外されたデータの信頼性は固定される

olsendata 生データ 計算 Full Quote Filter 変形の理由 分布を単純にする 定常性を確保する 最も単純な チェック データを買値・売値・ 売値買値のペアー 価格を必要に応じて変形する Log(P) Log(P-Pmin) など P>0 BidOfferSpread>0 変形の理由 分布を単純にする 定常性を確保する

olsendata 生データ 計算 Full Quote Filter Univariate Filter 最も単純な チェック Decimal　Error Scaling　Error Special　Filter C=min(Cbid,Cask,Cspread)

olsendata 生データ 計算 Full Quote Filter Univariate Filter Multivariate 最も単純な チェック 計算 　Full　Quote　 Filter Univariate Filter Multivariate Filter Decimal　Error Scaling　Error Special　Filter C=min(Cbid,Cask,Cspread)

olsendata Ctotal C1= 0 0.25 0.5 0.75 1 C2=1 （0.5） 1 0.75 0.75 0.878 Ctotal＝C[t(C1)＋t(C2)],C(T)=0.5+0.5T/Sqrt(1+T2)、T(C)=(C-0.5)/Sqrt(C(1-C)) Ctotal C1= 　0 　0.25 　0.5　 　0.75 　　1 C2=1 （0.5） 1 0.75　 0.75 0.878 0.50 　0.5 0.25 0.122 0.5 ０.00

Level Filter 為替の場合スプレッドに用いる olsendata Level　Filter 為替の場合スプレッドに用いる

olsendata Pair　Filter

olsendata 結果 期間 データ数 Reject USDJPY Jan89－Dec89 683,555 0.49％

簡単フィルター 為替レートドル円の例 １）最大値・最小値でのフィルターリング ２）ペアーになっていないデータははじく ３）スプレッドが0.15以上のものははじく ４）現在の買値が前の買値より±0.5以上であれば現在のデータはUnqualified になる。 ５）現在の売値が前の売値より±0.5以上であれば現在のデータはUnqualified になる。 ６）すべての計算が終了した後にUnqualifedが含まれているペアーを除く。

簡単フィルター 為替レートドル円の例

簡単フィルター 為替レートドル円の例

簡単フィルター 為替レートドル円の例

簡単フィルター 為替レートドル円の例