Additional Explanatory Figures for

Presentation on theme: "Additional Explanatory Figures for"— Presentation transcript:

1 Additional Explanatory Figures for
Daisuke Kato, Mika Baba, Kota S. Sasaki, Izumi Ohzawa (2016) Effects of generalized pooling on binocular disparity selectivity of neurons in the early visual cortex Phil. Trans. R. Soc. B ; DOI: /rstb Published 6 June 2016 Kato et al. Phil. Trans. R. Soc. B

2 Spatial Pooling Pooling in V1 Space
. Spatial Pooling Pooling in V1 Space Kato et al. Phil. Trans. R. Soc. B

3 Left-Right Stimulus Parameter Matching Requirement
To what extent must left-right stimulus parameters be matched for a binocular cell to respond? AL AR AL = AR Highly Matched Loosely Matched (a) (b) (c) Recall: If A is the horizontal position X, XL − XR is binocular disparity Kato et al. Phil. Trans. R. Soc. B

4 V1 Pooling Tightens Left-Right Matching Requirement
XL XR YL YR SFL SFR ORL ORR Single Energy Unit Energy Units Pooled in V1 Space Position X Position Y Spatial Frequency Orientation A B A: A single binocular energy unit, constructed according to the disparity energy model (Ohzawa et al. Science 1990) exhibits properties suitable as a disparity detector for the (XL – XR) domain, where X is the direction perpendicular to the neuron's preferred orientaiton. However, its left-right stimulus matching requirement is rather low for other V1 parameters, position Y, spatial frequency (SF), and orientation (OR). B: Pooling many binocular energy units in V1 space tightens left-right stimulus matching requirement in all dimensions. Kato et al. Phil. Trans. R. Soc. B

5 References [1] Ohzawa I, DeAngelis GC, Freeman RD. 1990
Stereoscopic depth discrimination in the visual cortex: neurons ideally suited as disparity detectors. Science 249, 1037–1041. (doi: /science ) [2] Ohzawa I, DeAngelis GC, Freeman RD. 1997 Encoding of binocular disparity by complex cells in the cat’s visual cortex. J. Neurophysiol. 77, 2879–2909. Kato et al. Phil. Trans. R. Soc. B

6 解説用追加スライド Daisuke Kato, Mika Baba, Kota S. Sasaki, Izumi Ohzawa (2016)
以下、日本語版スライド (The rest of the slides are in Japanese.) 解説用追加スライド 下記の論文の主要結果を説明する概念図が含まれています。 Daisuke Kato, Mika Baba, Kota S. Sasaki, Izumi Ohzawa (2016) Effects of generalized pooling on binocular disparity selectivity of neurons in the early visual cortex Phil. Trans. R. Soc. B ; DOI: /rstb Published 6 June 2016 Kato et al. Phil. Trans. R. Soc. B

7 . 空間プーリング V1空間におけるプーリング 本研究では、左右画像の位置ずれに関する情報のみを視差選択性を持つ神経細胞が伝達するのではなく、左右の画像をwaveletに分解した時のパラメータである位置(X, Y)、空間周波数(SF)、方位(OR)のすべてについて、両眼間で比較されるという仮説を新たに提唱し、基礎的な証拠を報告しました。 近年、人工のDeep Neural Netが脚光を浴びていますが、その階層構造の基本要素であるプーリングを取り入れた考察を行い、プーリングがステレオ立体視に関する視覚野細胞の反応特性に与える影響を調べました。ただし、従来のように視野を表す（X，Y）空間のみでプーリングを考えるのでなく、V1のwaveletを表す４つのパラメータ（X，Y，SF，OR）で定義される空間でプーリングを考えました。 Kato et al. Phil. Trans. R. Soc. B

8 左右刺激パラメータのマッチング（一致度）
どの程度左右の刺激パラメータが一致していれば細胞が反応するか？ AL AR AL = AR 高い一致度 低い一致度 (a) (b) (c) 左右網膜像を高い精度で比較するためには、左右パラメータが正確にマッチしている時にだけ反応する細胞にステレオ立体視の機能を担ってもらうと良いでしょう。 例えば、Aというパラメータであれば、図3（a）のように刺激が45度の直線上に乗る時、つまり左右の刺激パラメータが厳密に一致した時にのみ細胞が反応すれば良いわけです。このような厳密さは細胞には実現できません。 図3（b）は、左右のパラメータが良く一致している場合、図3（c）は左右の一致度が低い場合を表します。実際の神経細胞の反応を引き起こすためには、どの程度の左右パラメータの一致が必要でしょうか？ Aが水平位置 Xの時, XL − XR は両眼視差です。図では XL − XR ＝ 0　つまり視差がゼロの時を示していますが、もちろん最適視差がゼロで無い細胞も、４５度の反応領域を平行移動すれば、作ることができます。 Recall: Aが水平位置 Xの時, XL − XR は両眼視差 Kato et al. Phil. Trans. R. Soc. B

9 V1 プーリングにより左右刺激パラメータの整合性がより強く要求される
XL XR YL YR SFL SFR ORL ORR 単一 エネルギー ユニット V1空間でプーリング した場合 位置 X 位置 Y 空間周波数 方位 A B 理論予測のために、これまでステレオ立体視のための両眼視差を検出する計算モデルでよく知られた、「視差エネルギーモデル」（大澤ら1990年）による計算をすると、Aのように、位置Xについてはある程度45度の反応パターンが見られますが、位置Y、SF、ORについては、左右の刺激の一致度が低くても反応します。この基本モデルではプーリングを想定していません。 これに対し、V1空間でのプーリングを取り入れた理論予測では、Bのように、分解されたwaveletのパラメータ（X，Y，SF，OR）のすべてについて、プーリングが両眼マッチングをよりシャープにする効果があることがわかりました。プーリングの度合いが大きいほど、より高いマッチング精度を持つ細胞ができます。 また、そのような反応特性を示す細胞がV1に実際に存在することを実験により確認しました。すなわち、両眼の画像をwaveletに分解し、さらにプーリングを行ってから左右の比較を行うことより、位置、空間周波数、方位のすべてについて、精密にマッチングがとれている刺激を両眼から受けた時にのみ反応する細胞が、V1に存在することを発見しました。 Kato et al. Phil. Trans. R. Soc. B

10 参考文献 [1] Ohzawa I, DeAngelis GC, Freeman RD. 1990
Stereoscopic depth discrimination in the visual cortex: neurons ideally suited as disparity detectors. Science 249, 1037–1041. (doi: /science ) [2] Ohzawa I, DeAngelis GC, Freeman RD. 1997 Encoding of binocular disparity by complex cells in the cat’s visual cortex. J. Neurophysiol. 77, 2879–2909. Kato et al. Phil. Trans. R. Soc. B