実証的ソフトウェア工学環境とEASEプロジェクトについて

Presentation on theme: "実証的ソフトウェア工学環境とEASEプロジェクトについて"— Presentation transcript:

1 実証的ソフトウェア工学環境とEASEプロジェクトについて
大阪大学　大学院情報科学研究科 井上　克郎

2 ソフトウェア開発の現状と問題点 ソフトウェアの信頼性 ソフトウェアの生産性 経験的なノウハウやアドホックな手法，ツールを使う場合が多い
多数のバグを含んだソフトの流通 一度ダウンすると多大な社会的損失 ソフトウェアの生産性 開発期間の短縮要請 人海戦術による限界 経験的なノウハウやアドホックな手法，ツールを使う場合が多い 個別要素技術研究の他に管理・統合技術研究が必要 2004/3/31 クリティカルソフトウェアWS2004

3 科学的手法に基づくソフトウェア開発 多くの他の科学、工学分野では、計測して定量化・モデル化し、評価を行い、それをフィードバックして改善を行うのが普通（フィードバックループ） ソフトウェア開発の分野では？ 30年に亘って，いろいろな技法，システム，ツールなどの提案がなされたが，その多くは消え去り，十分な評価も行われていない． 評価するために手間暇かかる →歴史で評価 （ICSE n-10) 2004/3/31 クリティカルソフトウェアWS2004

4 エンピリカルソフトウェア工学 目的に応じた定量的なデータに基づいてソフトウェアの生産性や信頼性向上を行う諸技術
科学的根拠に基づいてプロジェクトの改善を行うには必須 エンピリカルソフトウェア工学に 関する雑誌、国際会議、研究会 などができている 2004/3/31 クリティカルソフトウェアWS2004

5 Journal by Kluwer Empirical Software Engineering
2004/3/31 クリティカルソフトウェアWS2004

6 International Symposium on Empirical Software Engineering
第1回：2002年，日本（奈良） 第2回：2003年，イタリア（ローマ） 第3回：2004年，米国（ロサンジェルス） ・・・ 2004/3/31 クリティカルソフトウェアWS2004

7 ISERN （International Software Engineering Research Network）
米国，ドイツ，オーストラリア，日本をはじめとする世界12カ国の産学の研究者により1993年に創設 会員制の形態をとり，年一度の会合 ソフトウェアの開発・利用・管理を支援する技術について，理論面での議論と共に，技術の有用性を確かめる実証実験も行う 2004/3/31 クリティカルソフトウェアWS2004

8 文部科学省リーディングプロジェクトe-Society 「データ収集に基づくソフトウェア開発支援システム」 EASEプロジェクト
エンピリカル環境の提案と構築 エンピリカル環境の配布・実プロジェクトへの適用 エンピリカルデータやその分析による知見の蓄積 適用先の組織の生産性、品質の向上 2004/3/31 クリティカルソフトウェアWS2004

9 プロジェクトの推進方法： ラボ方式による技術移転
実データ 　　　結果の検証 産業界 プロジェクト ラボ 大学 データ収集，フィードバック：　技術移転，　人材育成 ツールの開発，ツールの普及，データの蓄積 テーマの発掘，データの分析・評価，知見の整理・発表 フィードバック モデル、知見 2004/3/31 クリティカルソフトウェアWS2004

10 プロジェクトの構成 中核大学 奈良先端大 大阪大 プロジェクト・ラボ 中核企業 -専任スタッフ NTTソフトウェア -大学兼任者 日立製作所
協力大学 -国内・国外大学 協力企業 -国内・国外企業 技術委員会 -メトリクス -安全性 -プロセス改善 -形式手法 　… 中核大学 奈良先端大 大阪大 中核企業 NTTソフトウェア 日立製作所 日立公共システム SRA プロジェクト・ラボ 　-専任スタッフ 　-大学兼任者 　-企業出向者 2004/3/31 クリティカルソフトウェアWS2004

11 エンピリカルSEラボ in千里 産官学の交流の拠点 エンピリカル環境の各種ツールの開発拠点 企業からの出向研究者，ポスドク
大阪・千里中央・千里ライフサイエンスセンター11階 大阪空港、新大阪駅までそれぞれ15分程度 2004/3/31 クリティカルソフトウェアWS2004

12 国際アドバイザー Prof. Victor R. Basili （米国・メリーランド大学教授， フラウンホーファセンター・メリーランド　センター長） Prof. Dr. Dieter H. Rombach （ドイツ・カイザースロータン大学教授、 フラウンホーファ実験的ソフトウェア工学研究所　所長） Prof. Barry W. Boehm （米国・サザンカリフォルニア大学教授） Prof. Ross Jeffery （オーストラリア・ニューサウスウェールズ大学教授） 2004/3/31 クリティカルソフトウェアWS2004

13 EASEで目指すエンピリカルソフトウェア工学環境について

14 エンピリカルソフトウェア工学の ３つのフェーズ
収集 分析 改善 2004/3/31 クリティカルソフトウェアWS2004

15 エンピリカルソフトウェア工学の規模による分類
　　　　　本プロジェクトのターゲット 巨大 大 既存の技術 小

16 １～何万というプロジェクトを扱うことができるエンピリカルソフトウェア工学支援環境
本プロジェクトのターゲット １～何万というプロジェクトを扱うことができるエンピリカルソフトウェア工学支援環境 エンピリカル環境 2004/3/31 クリティカルソフトウェアWS2004

17 ターゲット選定理由 （実用化はまだまだだが）個人や組織を対象としたソフトウェア工学の技術は多数ある
多数のプロジェクトまでを対象としたソフトウェア工学技術（Multi-Project　Software Engineering）まだあまりない 組織の利益に直結する結果が得やすい 基礎となる技術の種はいろいろある 計算機のパワーアップ、ネットワークの高速化によって、実現できそうな気配 2004/3/31 クリティカルソフトウェアWS2004

18 エンピリカル環境の概念 分析 収集 改善 組織内で情報のやりとり 外部に流す必要なし インターネット （パブリックドメインソフト、
ソフトウェア開発会社 関連会社 組織内で情報のやりとり 外部に流す必要なし インターネット （パブリックドメインソフト、 オープンソース開発データ） 収集 改善 2004/3/31 クリティカルソフトウェアWS2004

19 エンピリカル環境の 実現

20 （１）収集に関する実現方針 目標を決めてから収集するデータを決める （理想的しかし組織によって目標は異なる）
目標を決めてから収集するデータを決める　 　　（理想的しかし組織によって目標は異なる） 　　→　取れるデータ全てを取っておく　（現実的アプローチ） プロダクトデータを中心に収集（プロセスデータはプロダクトデータから計算して得る） できるだけ簡単で、開発作業者の負担なく収集できる仕掛け 人為的な操作の少ない生データを収集 できるだけリアルタイムに収集 既存の開発環境と連携しつつ種々なプロジェクトに対応 小規模 XPなど非ウォーターフォールプロセス 分散開発（外部発注） 2004/3/31 クリティカルソフトウェアWS2004

21 （２）分析に関する実現方針 段階的実現（簡単なものから順に） 困難 ５． … ４．再利用部品・知識抽出検索 ３．プロジェクト分類、発展解析
５．　… ４．再利用部品・知識抽出検索 ３．プロジェクト分類、発展解析 ２．複数プロジェクトにまたがるメトリクス 容易 １．プロジェクト内のプロセス・プロダクトメトリクス 2004/3/31 クリティカルソフトウェアWS2004

22 （３）改善に関する実現方針 目的に応じたフィードバック 当面は収集データおよび１，２の分析結果を視覚的に表示するブラウザ 様々な仕掛けが必要
2004/3/31 クリティカルソフトウェアWS2004

23 Empirical Project Monitor EPM
エンピリカル環境の一部として開発中 プロジェクトの制御に有益な作業情報を収集、分析、表示 データ収集源 構成管理ツールCVS メーリングリスト管理ツールMailman 障害管理ツールGNATS 2004/3/31 クリティカルソフトウェアWS2004

24 標準エンピリカルSEデータ形式（XML）
EPMのアーキテクチャ 分析Tool群 開発者 管理者 個別プロジェクト、プロジェクト間メトリクス計測 PostgreSQL(Repository) 標準エンピリカルSEデータ形式（XML） 開発者 管理者 CVS, Mailman, GNATS, (WinCVS, CorporateSource) その他: メトリックス予測 他ツールのデータ など 構成管理 履歴 メール 履歴 障害 履歴 既存の開発環境 2004/3/31 クリティカルソフトウェアWS2004

25 EPMの特長 オープンソース開発に使われているツール利用 → 容易に導入可能 データ収集の負担 → 簡単な規約で可能
オープンソース開発に使われているツール利用　　→　　容易に導入可能 データ収集の負担 　　→　　簡単な規約で可能 プロダクトデータ（例えば1日1回CVSに保存） 連絡はメールで、障害は管理ツールで記録を残す 他のツールから標準エンピリカルSEデータ形式への変換容易　 　　　 →　　他の開発環境との連携可能 2004/3/31 クリティカルソフトウェアWS2004

26 EPMの適用対象 大規模プロジェクト 小規模プロジェクト 情報の共有がリアルタイムで可能 管理の負荷が低減 人為的なデータ操作が入りにくい
今まで手間等の問題で管理しにくかったプロジェクトにも適用しやすい いろいろなプロセス（XPなど）や組織をまたがる分散開発にも適用可能 2004/3/31 クリティカルソフトウェアWS2004

27 Empirical Project Monitorの機能

28 EPMの分析ツール 今は主に個別プロジェクト対象 ソースコード規模 障害解決時間 累積・未解決障害件数/平均障害滞留時間 更新/参照数
更新・障害報告/メール投稿数 更新と障害件数 ほか 2004/3/31 クリティカルソフトウェアWS2004

29 個別分析(ソースコードの規模の推移) 2004/3/31 クリティカルソフトウェアWS2004

30 ソースコード規模の推移（3ヶ月） 2004/3/31 クリティカルソフトウェアWS2004

31 ソースコードの規模推移 オープンソース開発プロジェクトnkf 2004/3/31 クリティカルソフトウェアWS2004

32 累積・未解決障害件数/平均障害滞留時間 2004/3/31 クリティカルソフトウェアWS2004

33 関連分析(更新と参照) 2004/3/31 クリティカルソフトウェアWS2004

34 CVS詳細情報 更新一覧 CVSの更新情報を一覧できる 2004/3/31 クリティカルソフトウェアWS2004

35 関連分析(更新・障害報告とメール投稿数)
メール投稿数とCVSの更新時期、障害発生・解決時期の関連 2004/3/31 クリティカルソフトウェアWS2004

36 メール詳細情報 トップメールトピックス一覧 議論の活発な話題を確認できる トピックはサブジェクトからML名、”Re:”を除いて作成
2004/3/31 クリティカルソフトウェアWS2004

37 関連分析(更新と障害件数) 障害件数の推移 CVSの更新時期を線で示し，バージョンごとの障害状況を確認できる 2004/3/31
クリティカルソフトウェアWS2004

38 エンピリカル環境への発展

39 分析や改善に関する機能拡張 より深い分析や解析を行い、組織の知識蓄積する より手軽に知識が取り出せて、有効利用されるようにする
2004/3/31 クリティカルソフトウェアWS2004

40 . . . エンピリカル環境 EPM（開発中） Code clone detection Component search Metrics
measurement Project categorization Cooperative filtering Product data archive (CVS format) Process data archive (XML format) Format Translator Format Translator Format Translator Format Translator Versioning (CVS) Mailing (Mailman) Issue tracking (GNATS) Other tool data Managers Project x Project y Corporate Source GUI Project z . . . Developers エンピリカル環境

41 拡張機能利用のシナリオ (1) プロジェクトXの進捗予定 実際のプロジェクトXの進捗 Xの類似プロジェクトを探す - プロジェクト分類技術
- 協調フィルタリング 2 X Y A Q T E W C V P 2004/3/31 クリティカルソフトウェアWS2004

42 拡張機能利用のシナリオ(2) 同類の再利用率 Xの再利用率 ソフトウェアの再利用を促進させる - ソフトウェア部品検索エンジン 3
- コードクローン検出 -　ソフトウェア部品検索エンジン 4 ソフトウェアの再利用を促進させる 2004/3/31 クリティカルソフトウェアWS2004

43 期待される効果 社内的な再利用やオープンソースの利用でプログラムの生産性が劇的に上がった
管理しきれなかった膨大な社内資産が、見通しよく整理できた 過去の同類のプロジェクト情報を有効利用して、コスト管理が厳密になった 蓄積した欠陥情報を利用して、信頼性を大幅に改善された 2004/3/31 クリティカルソフトウェアWS2004

44 分析技術（1） コードクローン検出（ソースコード中に存在する類似コード片）
2004/3/31 クリティカルソフトウェアWS2004

45 分析技術（2） クローンに基づくソフトウェアシステムの類似度
分析技術（2） 　クローンに基づくソフトウェアシステムの類似度 2004/3/31 クリティカルソフトウェアWS2004

46 分析技術（３） 協調フィルタリングに基づく類似プロジェクトの発見とメトリクス予測 ？
ソースコードA と「テスト済みソースコードB，C，D」 との間で類似度を計算する 「B，C，D のバグ数」と「類似度」から「Ａのバグ数」を予測する． 言語 行数 複雑さ 実装者の スキル バグ数 Java 1000 非常に複雑 ( 9 ) 低い ( 4 ) 予測値 37 ？ ソースコード A Java 1100 複雑 ( 7 ) 低い ( 3 ) 38 ソースコード B 類似度：高（0.7） 類似度：高（0.8） 類似度：低（0.2） Java 700 非常に複雑 ( 9 ) 低い ( 4 ) 33 ソースコード C C++ 2000 普通 ( 5 ) 高い ( 7 ) 48 ソースコード D 2004/3/31 クリティカルソフトウェアWS2004

47 分析技術（４） Javaプログラム検索エンジン 2004/3/31 クリティカルソフトウェアWS2004

48

49

50 まとめ

51 まとめ エンピリカル環境の概念の提案 エンピリカル環境の一部としてのEmpirical Project Monitor EPMの紹介
導入の壁が低い いろいろな環境に適応可能 EPMの拡張の方向性 より深い分析と知見の抽出 EPM エンピリカル環境 2004/3/31 クリティカルソフトウェアWS2004

52 エンピリカル環境導入のメリット（１） まだプロジェクトの計測を行っていない場合
既存の開発環境と連携して手軽にプロジェクトのモニターができる プロジェクトの異常検出 過去や予想との比較 プロジェクトの蓄積が容易 どんなプロジェクトでも将来 に残せる 2004/3/31 クリティカルソフトウェアWS2004

53 エンピリカル環境導入のメリット（２） すでに計測を行っている場合
全社的に統一的なデータをリアルタイムで揃えられるようになる 個人の目標と比べて 部署やプロジェクトの間の比較 他社と比べて、海外と比べてどうか？ エンピリカルデータの統合により、情報の共有や再利用が（個人の経験や勘に頼らずに）自動的に行えるようになる 似たようなプロジェクト、似たようなソフトウェア開発での知見の発掘、重複作業の排除 2004/3/31 クリティカルソフトウェアWS2004

54 スケジュール 現在 今年度中 来年度 ユーザーグループ、研究会、コンソーシアムなど、興味ある人の集まる場の提供を検討中 EPMのデモ版
分析ツール追加 ユーザーグループ、研究会、コンソーシアムなど、興味ある人の集まる場の提供を検討中 2004/3/31 クリティカルソフトウェアWS2004