Sonia Pujol, Ph.D. Surgical Planning Laboratory Harvard Medical School

Presentation on theme: "Sonia Pujol, Ph.D. Surgical Planning Laboratory Harvard Medical School"— Presentation transcript:

1 Sonia Pujol, Ph.D. Surgical Planning Laboratory Harvard Medical School
脳の構造における 自動セグメンテーション Sonia Pujol, Ph.D. Surgical Planning Laboratory Harvard Medical School

2 学習目標 MRIデータから自動的に脳の構造をセグメンテーションする,Expectation- Maximizationアルゴリズムを使った処理の理解

3 アルゴリズムの歴史 Expectation-Maximizationアルゴリズムは12年間に渡 って開発された
1996: Williams Wells et al. EM framework for simultaneous estimation of bias field a label map. IEEE Transactions on Medical Imaging. 1999: Kapur et al. Model noise via Markov Random Field . MIT PhD Thesis 2002: Van Leemput et al. Non-spatial tissue priors. IEEE Transactions on Medical Imaging Since 2002: Pohl et al. Deformable registration to align atlas (MICCAI) Hierarchical framework to model anatomical dependencies (ISBI) 2007: Brad Davis et al.: EMSegmenter in Slicer3

4 データ,ソフトウェア Slicer 3.4 ソフトウェア
./Slicer.exe (Windows) か ./Slicer (Linux/Mac)で実行 AutomaticSegmentation.zip データセット 免責条項 ライセンスに書かれている条件,関連法等に従うことはSlicer使用者の責務

5 データの詳細 生成された脳の一般的なアトラス……………… T1とT2のボリュームデータ………….…………

6 Anatomical Tree 分割されるであろう構造の階層を定義したのがAnatomical tree
頭蓋骨内の空洞 白質(White Matter:WM) 灰白質(Grey Matter:GM) 脳脊髄液(Cerebrospinal Fluid:CSF) 背景 空気 頭蓋骨

7 EMの流れ Step 1: 前処理 Step 2: 患者特有のアトラスの生成 Step 3: 自動セグメンテーション

8 ターゲット同士の位置あわせ t2をt1へ重ね合わせる
EM の流れ: 前処理 患者データ 輝度値の正規化 t1とt2の輝度値の正規化 t2 t1 ターゲット同士の位置あわせ t2をt1へ重ね合わせる 正規化されたt2 正規化されたt1 t1n T(t2n)

9 アトラスを患者データへ位置あわせする 患者特有のアトラスを作成するために用いた画像に一般的なアトラスを位置あわせ
EMの流れ: 患者特有のアトラス生成 正規化された患者データの位置あわせ 白質 脳脊髄液 灰白質 背景 一般的なアトラス T(t2n) t1n アトラスを患者データへ位置あわせする 患者特有のアトラスを作成するために用いた画像に一般的なアトラスを位置あわせ 患者特有のアトラス 白質 脳脊髄液 灰白質 背景 Anatomical Guided Segmentation with non-stationary tissue class distributions in an expectation maximization framework. Pohl K., Bouix S., Kikinis R. and Grimson E. In Proc.ISBIT 2004: IEEE International Symposium on Biomedical Imaging:From Nano to Macro, pp 81-84

10 Expectation-Maximizationアルゴリズムを使うことでセグメンテーションを行う
EMの流れ：セグメンテーション 正規化された 患者データ 患者特有のアトラス 正規化されたT(t2) 正規化されたT1 白質 脳脊髄液 灰白質 背景 Anatomical Guided Segmentation with non-stationary tissue class distributions in an expectation maximization framework. Pohl K., Bouix S., Kikinis R. and Grimson E. In Proc.ISBIT 2004: IEEE International Symposium on Biomedical Imaging:From Nano to Macro, pp 81-84 Expectation-Maximizationアルゴリズムを使うことでセグメンテーションを行う

11 EMの流れ：セグメンテーションアルゴリズム
Expectationステップ 各組織に,MRのボクセルを分類する (灰白質,白質,脳脊髄液) Maximizationステップ 各組織の機能として, 強度補正を適用する

12 Slicerの起動 Mac/Linux Windows Slicer3-buildディレクトリにおいて,『./Slicer3』を実行
Slicer3-buildディレクトリにおいて,『./Slicer3.exe』を実行

13 データの詳細 生成された脳の一般的なアトラス……………… T1とT2のボリュームデータ………….………… 13

14 一般的な脳アトラス 一般的な脳のアトラスはMRIの学習用のデータセットにおいて自動的に分割された構造に一致する4つの濃淡値ボリュームデータで構成されている. 白質 (WM) 脳脊髄液 (CSF) 灰白質 (WM) 背景 (Bg)

15 一般的な脳アトラスの読み込み Fileメニューにおいて,『File→LoadScene』を選択
『AutomaticSegmentation/atlas』ディレクトリにおいて,brainAtlas.mrmlファイルを選択し,Openボタンをクリック

16 一般的な脳アトラスの表示 Viewerにおいて,生成された一般的な脳アトラスが表示される

17 一般的な脳アトラスの表示 Modulesより,Dataモジュールを選択

18 一般的な脳アトラスの表示 一般的な脳アトラスは４つの要素で構成 - 白質 - 灰白質 - 脳脊髄液 - 背景

19 一般的な脳アトラスの読み込み linkアイコン をクリック.
Backgroundアイコンの右側の欄より,各々の要素を設定し,データが読み込まれていることを確認.

20 一般的な脳アトラスの表示 灰白質アトラスより,シルビウス裂のコロナル断面を表示

21 一般的な脳アトラス生成：STEP1 ….. ….. 全ての対象者をある一つの基準データに位置あわせ S1 S2 Sn
基準データはランダムに選ばれる 全ての対象者をある一つの基準データに位置あわせ ….. T’(S1) T’(S2) T’(Sn) 位置あわせされた対象者n人のデータ A Binary Entropy Measure to Assess Non-rigid Registration Algorithms. S.Warfield, J. Rexilius, P. Huppi, T.Inder, E. Miller, W.Wells, G. Zientara, F. Jolesz, R. Kikinis. In Proc. MICCAI 2001: Medical Image Computing and Computer-Assisted Interventions, pp

22 一般的な脳アトラス生成：STEP2 ….. ….. 白質 灰白質 脳脊髄液 n個の画像データ全てを４つのクラスに分類 背景 T’(S1)
T’(Sn) 位置あわせされた対象者n人のデータ ….. 白質 灰白質 脳脊髄液 背景 n個の画像データ全てを４つのクラスに分類 一般的なアトラスの生成 白質 脳脊髄液 灰白質 背景 Adaptative Segmentation of MRI data. Wells W., Grimson E., Kikinis R and Jolesz F. IEEE Transactions on Medical Imaging, vol.15, p , 1996.

23 データの詳細 生成された脳の一般的なアトラス……………… T1とT2のボリュームデータ………….………… 23

24 T1ボリュームデータの読み込み Modulesメニューより,Volumesを選択

25 T1ボリュームデータの読み込み Select Volume Fileをクリック

26 T1ボリュームデータの読み込み 『AutomaticSegmentation/t1』ディレクトリにあるt1.nhdrデータを選択し,Openボタンをクリック

27 T1ボリュームデータの読み込み t1データを読み込むためのVolumesモジュールにおいてApplyをクリック

28 T1ボリュームデータの表示 Viewerにおいてt1ボリュームデータを表示

29 T1ボリュームデータの表示 Choose viewアイコン　　　　より,Red slice only layout 　　を選択

30 T1ボリュームデータのコントラスト 灰白質 白質

31 T2ボリュームデータの読み込み Viewerの状態を元の状態に戻す(choose viewアイコンより,Conventional layout　　 　　を選択) Select Volume Fileをクリック

32 T2ボリュームデータの読み込み 『AutomaticSegmentation/t2』ディレクトリにあるt2.nhdrデータを選択し,Openボタンをクリック

33 T2ボリュームデータの読み込み t2データを読み込むためのVolumesモジュールにおいてApplyをクリック

34 T2ボリュームデータの表示 Viewerにおいてt2ボリュームデータを表示

35 T2ボリュームデータのコントラスト 脳脊髄液

36 25歳～40歳の健康的なn(=82人)を対象者とする
一般的なアトラス S1 S2 Sn ….. 25歳～40歳の健康的なn(=82人)を対象者とする 基準データはランダムに選ばれる t1とt2の基準データ

37 T1アトラス Fileメニューより,Add Volumeを選択し,『atlas』ディレクトリよりatlas_t1データを読み込む

38 T2アトラス Fileメニューより,Add Volumeを選択し,『atlas』ディレクトリよりatlas_t2データを読み込む

39 Atlas T2 Window/Levelの値をデータが見やすいように設定

40 学習データセット

41 Templete Builder : パラメータ設定

42 Templete Builder Modulesより,『Segmentation EMSegmentTemplateBuilder』を選択

43 Template Builder EMSegment Template BuilderのGUIの操作ガイドが画面左側に現れる
WizardタグにおけるParameter Setをクリックし, Create New Parametersを選択.

44 Template Builder vtkMRMLEMSNode1が作成される Nextをクリック

45 Anatomical Tree

46 Anatomical Tree Wizardタグ内のAnatomical Treeにおいて, Root上で右クリックし, add subclassを選択

47 Anatomical Tree Wizardタグ内のNode Attitude欄における,Nameよりノードの名前を‘Background’に変更

48 Anatomical Tree Root上で右クリックし, add subclassを選択

49 Anatomical Tree 2つ目のサブクラス名を Intracranial Cavityに変更 現在,Anatomical Treeは
Background Intracranial Cavity の2つの要素を含む

50 Anatomical Tree WizardタグにおけるSelect colormapをクリックし,Labelsを選択

51 Anatomical Tree Background上で右クリックし, add subclassを選択.
追加したサブクラス名をAirに変更. Wizardタグ内のNode Attitude欄における,LabelよりAirのラベル値を0に設定

52 Anatomical Tree Backgroundに新たにSkullサブクラスを追加し,ラベル値を3に設定.

53 Anatomical Tree 同様にして, Intracranial Cavity に以下の3つのサブクラスを追加し,それぞれのラベル値を設定： Grey Matter, ラベル値：4 White Matter, ラベル値：8 CSF, ラベル値：5

54 Anatomical Tree Anatomical Tree以下の5つの要素を持つこととなる. Air, ラベル値：0
Skull, ラベル値：3 - Grey Matter, ラベル値：4 White Matter,ラベル値：8 CSF,ラベル値：5 Nextをクリック

55 アトラスの割り当て

56 アトラスの割り当て Wizardタグ内のAnatomical Tree欄において,Airを選択.
Probabilistic Atlasより, Select Volumeをクリックし, 確率アトラスatlas_backgroundをAir構造に指定.

57 アトラスの割り当て Anatomical Tree欄において,Skullを選択.
Select Volumeをクリックし, 確率アトラスatlas_backgroundをSkull構造に指定.

58 アトラスの割り当て Anatomical Tree欄において,Grey Matterを選択.
Select Volumeをクリックし, 確率アトラスatlas_greymatterをGrey Matter構造に指定.

59 アトラスの割り当て Anatomical Tree欄において,White Matterを選択.
Select Volumeをクリックし, 確率アトラスatlas_whitematterをWhite Matter構造に指定.

60 アトラスの割り当て Anatomical Tree欄において,CSFを選択.
Select Volumeをクリックし, 確率アトラスatlas_csfをCSF構造に指定. Nextをクリック

61 患者データ (セグメンテーション対象画像)

62 患者データ(セグメンテーション対象画像)
脳構造をセグメンテーションしたい画像として,T1ボリュームデータを選択し,Addアイコン　　　をクリック.

63 患者データ(セグメンテーション対象画像)
T2ボリュームデータを選択し,Addアイコンをクリック.

64 患者データ(セグメンテーション対象画像)
EMSegmenterアルゴリズムにおいて,t1とt2ボリュームデータはセグメンテーション対象データ. t2ボリュームをt1ボリュームに位置あわせするためにAlign Target Imagesのチェック欄にチェックを入れ,Nextをクリック.

65 患者データ(セグメンテーション対象画像)
確認のためにポップアップウィンドウが表示されるので,Yesをクリック

66 輝度値の正規化

67 輝度値の正規化 Wizardタグ内のNormalization Parametersにおける,Reset Defaultsをクリックし, MR T1 SPGRを選択

68 輝度値の正規化 WizardタグにおけるTarget Imageをクリックしt2.nhdrを選択.
Reset Defaultsをクリックし, MR T2を選択. Nextをクリック

69 輝度値の分布

70 輝度値のガウス分布 Anatomical Treeにおいて,Grey Matterを選択
Intensity DistributionタグにおけるSpecificationでManual Samplingを選択.

71 輝度値のガウス分布 Manual Samplingタブを選択

72 輝度値のガウス分布 Choose viewerアイコンより,Red Slice Only Layout　　 を選択し,t1ボリュームデータを選択. Viewerを以下のように設定： Foreground：None Label：None Background：t1 Fit to Windowアイコン　　をクリック.

73 輝度値のガウス分布 Anatomical Tree欄においてGrey Matterを選択し,t1ボリュームデータ内における灰白質の点を10点取得. (取得方法：Ctrl + Left Click)

74 輝度値のガウス分布 Intensity Distributionタブをクリック
t1とt2ボリュームデータにおいての灰白質の平均値と分散 (Log)が計算され,表示されている.

75 輝度値のガウス分布 Anatomical Tree欄においてWhite Matterを選択
Intensity DistributionタグにおけるSpecificationでManual Samplingを選択. Manual Samplingタブをクリックし, t1ボリュームデータ内における白質の点を10点取得.

76 輝度値のガウス分布 Intensity Distributionタブをクリックし,計算された白質の平均値,分散を確認.

77 輝度値のガウス分布 Anatomical Tree欄においてCSFを選択
Intensity DistributionタグにおけるSpecificationでManual Samplingを選択. Manual Samplingタブをクリックし, t2ボリュームデータ内における脳脊髄液の点を10点取得. (Background欄において,t2.nhdrを選択)

78 輝度値のガウス分布 Intensity Distributionタブをクリックし,計算された脳脊髄液の平均値,分散を確認.

79 輝度値のガウス分布 同様にして,Anatomical Tree欄より,Airを選択し,t2ボリュームデータ内において空気の点を10点取得.

80 輝度値のガウス分布 Intensity Distributionタブより,計算された空気の平均値,分散を確認.

81 輝度値のガウス分布 Anatomical Tree欄より,Skullを選択し,t1ボリュームデータ内において頭蓋骨の点を10点取得. (Background欄において,t1.nhdrを選択)

82 輝度値のガウス分布 Intensity Distributionタブより,計算された頭蓋骨の平均値,分散を確認. Nextをクリック

83 EMにおける入力変数

84 EMセグメンテーションのパラメータ 入力変数として,以下のパラメータがある
Global Prior p(L)  Global Prior Weight Gaussian Intensity Distribution p(L|I)  Input Channel Weight Probabilistic Atlas p(L|X)  Atlas Weight Probability of a structure to be present at a certain location in an image  atlas weight

85 背景の設定 Anatomical Treeにおいて,Backgroundを選択し, 以下のパラメータを入力:
- Global Prior: 0.15 - Atlas Weight: 1 -Input Channel Weight: t1: 1.0 t2: 1.0

86 頭蓋骨内の構造の設定 Anatomical Tree欄において,Intracranial Cavity欄を選択し, 以下のパラメータを入力：
- Global Prior: 0.85 - Atlas Weight: 1 Input Channel Weight T1: 1.0 T2: 1.0

87 空気と頭蓋骨の設定 AirとSkullにおいて,以下のパラメータを入力. (入力する際には,Anatomical Treeで各構造を選択し,入力) Global Prior: p(L) = 0.7 Atlas Weight: p(L|X) = 1 Input Channel Weight: t1, p(L|I) = 1.0 t2, p(L|I) = 1.0 Air Global Prior: p(L) = 0.3 Atlas Weight: p(L|X) = 1 Input Channel Weight: t1, p(L|I) = 1.0 t2, p(L|I) = 1.0 Skull

88 頭蓋骨内の設定 灰白質,白質,脳脊髄液の各パラメータを入力. GM WM CSF Nextをクリック
Global Prior: p(L) = 0.45 Atlas Weight: p(L|X) = 0.01 Input Channel Weight: t1, p(L|I) = 1.0 t2, p(L|I) = 0.1 灰白質,白質,脳脊髄液の各パラメータを入力. GM Global Prior: p(L) = 0.3 Atlas Weight: p(L|X) = 0.7 Input Channel Weight: t1, p(L|I) = 0.95 t2, p(L|I) = 0.05 WM Global Prior: p(L) = 0.25 Atlas Weight: p(L|X) = 0.01 Input Channel Weight: t1, p(L|I) = 0.1 t2, p(L|I) = 1.0 CSF Nextをクリック

89 アトラスを患者データに 位置あわせ

90 アトラスを実験データに位置あわせ 一般的なアトラスを患者特有のアトラスを生成する際に使用した画像データへ位置あわせ
EMの流れ：患者特有のアトラス生成 位置あわせと正規化された患者データ 白質 脳脊髄液 灰白質 背景 一般的な脳アトラス T(t2n) t1n アトラスを実験データに位置あわせ 一般的なアトラスを患者特有のアトラスを生成する際に使用した画像データへ位置あわせ 患者特有のアトラス Anatomical Guided Segmentation with non-stationary tissue class distributions in an expectation maximization framework. Pohl K., Bouix S., Kikinis R. and Grimson E. In Proc.ISBIT 2004: IEEE International Symposium on Biomedical Imaging:From Nano to Macro, pp 81-84 白質 脳脊髄液 灰白質 背景

91 アトラスを患者データに位置あわせ Wizardタグ内のAtlas to target Registration Parameter欄においてAtlas (Moving) Imageをatlas_t1に設定 以下の位置あわせのアルゴリズムを選択: Affine Registration: Rigid, MI Deformable Registration: B-Spline, MI Nextをクリック

92 セグメンテーション

93 Expectation-Maximizationアルゴリズムを使うことでセグメンテーションを行う
EMの流れ：セグメンテーション 正規化された 患者データ 患者特有のアトラス 正規化されたT(t2) 正規化されたt1 白質 脳脊髄液 灰白質 背景 Anatomical Guided Segmentation with non-stationary tissue class distributions in an expectation maximization framework. Pohl K., Bouix S., Kikinis R. and Grimson E. In Proc.ISBIT 2004: IEEE International Symposium on Biomedical Imaging:From Nano to Macro, pp 81-84 Expectation-Maximizationアルゴリズムを使うことでセグメンテーションを行う

94 セグメンテーション 作業ディレクトリを選択
Wizardタグ内のOutputLabelmap欄におけるOutputLabelmapをクリックし, Create a New Volumeを選択

95 セグメンテーション Runをクリック (EMセグメンテーションが実行される)

96 セグメンテーション Viewerの状態を元に戻す. (choose viewアイコンからConventional layoutを選択)

97 セグメンテーション結果 Foreground欄にEMSegmentationボリュームデータを, Background欄にt1ボリュームデータを設定する.

98 セグメンテーション結果 LinksアイコンがOn状態　　になっていることを確認し,foregroundのEMセグメンテーション結果画像をスライダを用いて表示する. EMセグメンテーションの結果ボリューム画像が,t1ボリューム画像に重ね合わせて見ることが可能.

99 謝辞 National Alliance for Medical Image Computing NIH U54EB005149
Thanks to Kilian Pohl, Brad Davis, Sylvain Bouix and Robert Yaffe. Neuroimage Analysis Center NIH P41RR013218 Computer Science and Artificial Intelligence Lab-MIT, Surgical Planning Lab-Harvard Medical School Thanks to Sandy Wells, Martha Shenton, Alex Guimond, Simon Warfield and Eric Grimson.

100 監守：波多 伸彦 * * Surgical Plannninng Laboratory, Harvard Medical School
翻訳 スライド翻訳：木西　基 ** 　　　　 　 監守：波多　伸彦 * * Surgical Plannninng Laboratory, Harvard Medical School ** 知的画像処理研究室, 立命館大学