コンピュータプラクティス Ｉ 再現性 水野嘉明 コンピュータプラクティスⅠ 再現性 水野嘉明 再現性

本日の予定 「再現性」 実験の再現と実験環境について 前回の実験１、２について、追実験をおこなう 実験レポート Ｒ４として提出する

科学的方法 – 第三者による検証 論文（実験レポート）による成果の発表 実験が正しいことの検証 帰納的推論、演繹的推論に誤りがないことの検証 批判に耐えることにより、研究成果は受け入れられる

実験の再現 実験の正しさは、どのようにして証明されるか？ 誰がやっても同じ結果になれば、正しいものと認められる 追実験が重要である

実験の再現 第三者が、同じ条件で実験を再現できなければならない 論文・レポートには 実験環境 実験の方法・手順 実験の経過や結果 を明記する

実験の環境 実験環境とは、実験に影響すると思われるすべての要因 ハードウェア ソフトウェア ネットワーク 人的要素

実験の環境 ハードウェア ＣＰＵ メモリ （メインメモリ） キャッシュメモリ ディスク ビデオカード（ディスプレイ） その他

実験の環境 ソフトウェア ＯＳ （種類、バージョン、ＳＰ/パッチ） プログラムの実行条件 （優先順位、仮想記憶） 同時に動いているソフト （サービス/デーモン、アプリ） 使用ツール その他

実験の環境 プログラムの実験に関する注意 同じソースファイルでも、生成される実行ファイルはコンパイラにより異なる コンパイラの種類、バージョン、最適化レベル、使用ライブラリ、その他の設定

実験の環境 環境の確認 （Windows XPの場合） 「マイコンピュータ」で右クリック → [プロパティ] [アクセサリ] → [システムツール] → [システム情報]

ctrl+alt+delete → タスクマネージャ 実験の環境 実行中のプログラムを調べる 実行中のサービスを調べる ctrl+alt+delete → タスクマネージャ [管理ツール] → [サービス]

実験の環境 ネットワーク 通信相手の処理内容、環境 通信路の性能、混み具合など ＩＰアドレスは直接関係しないが、ネットワークのどの部分にどのように接続されているかが、性能等に影響する

実験の環境 人的要素 人の振る舞いは様々な要因に依存 再現性に乏しい ⇒ 統計的に扱う必要

演習１ 実験環境を調べよ 実験用ＰＣの仕様 ソフトウェア環境

追実験 追実験は、 元実験と同じ方法・手順で行う 環境の影響を、出来るだけ取り除く 例えば、同時にアプリケーションを動かさない、など どのような影響があるかを、見極める事が大事

追実験 元実験側の責任が大 実験環境、手順・方法、経過や結果を、 実験方法 レポート（論文）にきちんと書く 例）応答時間を測定する時には、ネッ トワーク経由のサーバーではなく、 ローカルなディスク(C:) を用いる レポート（論文）にきちんと書く 実験環境に左右されない

追実験 実験環境を明示する理由 (1) 実験結果が環境に左右 されて いないか、検証する 例：ネットワーク経由の起動時間 (1) 実験結果が環境に左右 されて いないか、検証する 例：ネットワーク経由の起動時間 (2) 結果の違いが環境の違いで 説明できるか どうか、判定する 例： CPU速度の換算

追実験 影響を避けることの出来ない環境もある 例： OSの種類、CPUの性能 その場合、出来るだけ環境をそろえる 同じ環境を再現できなくても、相対的な比較はできることがある 例： CPUの性能は異なっていても、 速度は換算できる 等

追実験 追実験は、元実験が正しいかどうか を検証するために行う 元実験を批判的に見る コンピュータプラクティス Ｉ 追実験 追実験は、元実験が正しいかどうか を検証するために行う 元実験を批判的に見る 実験結果は、数値だけではなく、推論についても検証すること 追実験の結果、「元実験は正しくない」 という結論も有り得る 再現性

追実験 追実験は、同じ数値を出す事が目的ではない 速度の実験では、同じ速度を出しても仕方がない 換算が可能 ⇒ オーダーが重要 コンピュータプラクティス Ｉ 追実験 追実験は、同じ数値を出す事が目的ではない 速度の実験では、同じ速度を出しても仕方がない 換算が可能 ⇒ オーダーが重要 再現性

実験１、２ 先週の実験１、２を追実験せよ 追実験対象レポートは、Webサイトよりダウンロードする サンプル１～サンプル３の中から選択すること

実験１、２ 元実験の 実験環境を明記した上で、実験方法、実験結果を記せ 自分の実験環境、実験方法も明記する 追実験を行い、結果を確認せよ 自分の結果と比較し、考察せよ

課題 正確な追実験を行うために必要なことを調べ、科学的方法における追実験の意義について論ぜよ

実験レポート レポートＲ４として提出せよ レポートの構成（章立て）に注意 R１、R3と同じ章立て 表題は 「比較実験の追実験」

追実験の注意事項 実験環境は、元の環境と追実験の環境の、両方を書かなければ意味がない 測定方法について、記述すること 「どのレポートの追実験か」も明記する 数字の検証だけではなく、推論も検証すること

課題についての注意事項 正確な追実験を行うために必要なこと テキスト以外の文献を二つ以上調査すること 注：時間がかかる 科学的方法における追実験の意義 自分の言葉で書くこと テキストの切り貼りは不可

演習２ 追実験を行ってみた経験から、自分のレポートR３を見直し、次の各項目をチェックせよ 理論、特に仮説 実験環境、実験方法、実験結果 考察 結論

演習２ 改めて、レポートＲ３Ｒ として、提出せよ

お疲れ様でした