January 14-15, 2019 MLIT, Japan Transmitted by the expert of Japan

Presentation on theme: "January 14-15, 2019 MLIT, Japan Transmitted by the expert of Japan"— Presentation transcript:

1 January 14-15, 2019 MLIT, Japan Transmitted by the expert of Japan
Informal Document VMAD-01-05 1st VMAD IWG, January 14-15,2019 Agenda item 5. How to consider Innovative Validation Methods for Safety of Automated Driving System January 14-15, 2019 MLIT, Japan

2 Contents Presentation at 176th WP.29 session in Nov (informal document WP ) New assessment / Test Method Structure of the Translation Process with an example Scenario Structure Scenario Database 6. Test Scenario Catalog 2

3 1. Presentation at 176th WP.29 session on Nov. ’18
Translation Process 高度な自動運転システムの安全性を評価するにあたり 検証手法やクライテリアを検討するためには，最初にTop of Goalを決める必要がある ここでは、日本の国交省が発行した自動運転の安全性ガイドラインにおける安全コンセプトを例にして Objective とConceptを記載している 最終的には、グローバルにハーモナイズされたObjectiveとConceptを記載することが望ましい 又、各国のODDの定義を決めることによって、何を共通項目として検証可能か、何が調和可能か検討することができる 妥当性検証手段としては，Naturalistic Driving Studyや事故データのようなエッジケースや シミュレーション環境の整備や、センサーモデル、車両運動モデル等、様々なツールが必要となる それらを活用して、測定可能なクライテリアとテストシナリオを設定する 3

4 2. New assessment /Test method
Classification WP29 GRVA IWGs Concrete examples based on JP guideline Objective To realize society where accidents caused by ADS resulting in injury or death become zero Vehicle safety concept ADS, under their ODD, shall not cause any traffic accidents resulting in injury or death that are rationally foreseeable and preventable ODD, Applicable systems ODD: Highway, No snow/Ice, Day/Night Applicable system: Highway chauffer Related laws/issues Each region issue Liability, Driver's responsibility Traffic rule, etc. Measurable criteria Normal case Cause: ADS is responsible Foreseeable: no unrealistic scenario Preventable: No illegal and No extreme conditions Measurable criteria　　Test scenario MRM case Validation methods Track tests, simulation, on road tests, etc. under scenarios randomly picked up from the test scenario database Translation Process 4

5 3. Structure of the translation process with an example
Substantiation Input from WP29 & GRVA Page6,7 Scenario Structure Structured all possible traffic scenario in the ODD Vehicle safety concept ADS, under their ODD, shall not cause any traffic accidents resulting in injury or death that are rationally foreseeable and preventable ODD, Applicable system ODD: Highway, No snow/Ice, Day/Night Applicable system: Highway chauffer Related laws/issues Liability, Driver's responsibility Traffic rule Traffic flow observation data Accident Taxonomy Field data A Page8 Discussion points in IWG Foreseeable scenario Scenario DB (no unrealistic scenario) A Foreseeable: empirically predictable scenario w.r.t observed field data Iteration Process B Preventable: No illegal and No extreme conditions B Page9 Output of IWG Preventable scenario Test scenario Validation method Test Scenario Catalog (No illegal and No extreme conditions) Consider validation method Selected scenario for certification Track tests Audit On road tests … 5

6 4. Scenario Structure (1/2)
AD scenario category can be separated from the view point of the physics of AD system, which is perception, judgment, and maneuver in order to cover holistic root cause. Scenario Structure a b Perception limitation Traffic Disturbance Vehicle Disturbance c sensor malfunction Traffic participants’ unsafe behavior Cause of vehicle instability Road Ego Vehicle Traffic Participants Surrounding Vehicle - position - behavior 6

7 4. Scenario Structure (2/2)
Extract the most demanding parameter from real environment data for each road geometry classification based existing laws and regulations. b Define 8+1 position around ego-vehicle and movement which can invade the ego trajectory. a b Ego-vehicle behavior Traffic participants’ position surrounding vehicle behavior Road geometry Ego-vehicle behavior Lane keep Lane change Main roadway Free Driving Following Overtaking Merge Merging in front Branch --- Ramp Road geometry シナリオ体系は 大きく分けて２つの項目で体系化されている ①道路形状と自車挙動の組み合わせ 　これはODDに関係する項目である。道路形状は各国の道路構造令によっておおよそ決まる 　高速道路における自車の挙動は，レーンキープとレーンチェンジが大きな要素であり，フリー走行や分岐・合流などの挙動がある ②周辺車両の位置と挙動 　周辺車両は自車の周りに８台と前々方の１台を最大数とすれば網羅性は確保出来ると考える 　前々方１台は，前車がカットアウトした時に前々方の車が存在する場合を想定しており、クリティカルなシーンとの想定である 　周辺車両の挙動は，例えば自車の前に他車がカットインしたときの挙動をシミュレーション可能な手法で描かれている 高速道路では，約３０シナリオを定義している Road Structure Ordinance 7

8 Traffic flow observation data
5. Scenario DB a Check Scenario Structure by real world data b Define scenario parameter boundary The monitored traffic flow data is needed not only to check the scenario coverage but also to define the scenario parameter range based on the real world traffic behaviors. The monitored traffic flow data and accident data can be utilized to check if the scenario catalog can cover the foreseeable scenario. Field data Accident Taxonomy e.g) GIDAS … classification a … Pre-Crash Scenario Typology(NHTSA) Scenario　Structered region/country specific w/quantitative parameter range Scenario DB Traffic flow observation data Trajectory extraction Parameter range b シナリオ生成とシナリオDB シナリオ体系では，ロジカルにシナリオを検討したが，それで十分であるか？，またパラメータ範囲は？を裏付ける必要がある 実際の事故データを分類し，設定した約３０シナリオに当てはまるか検討を行った また，実際の交通流から，走行軌跡を抽出し，設定したシナリオと一致するパターンへパラメータ範囲として設定する 実際の交通流は，定点カメラやレーダ等を搭載した計測車によって測定している 以上により得られたデータをシナリオDBとして管理する Fixed Camera data Equipped vehicle data Foreseeable scenario 8

9 6. Test Scenario catalog Exclude parameter ranges unavoidable for automated driving vehicle Foreseeable Scenario Preventable Scenario extract 測定可能なクライテリア 社会受容性があり，適用可能なクライテリアを設定する必要がある ここでは例として A）人のドライバより優れている B）車両限界ギリギリまで回避する 等について例示しているが、 今後議論を進め方針を決定する必要が有る 9