ユーザインタフェース　第１２回 実験的手法による形成的評価

ここで評価法をサーベイ！ 分析的手法 ヒューリスティック評価法 形成的評価 総括的評価 パフォーマンス測定 思考発話法 回顧法 実験的手法

思考発話法 思考発話法（think aloud method） 被験者にタスクを実行してもらいながら、タスク実行時の認知過程をその都度　発話して　もらう手法 行動と発話を観察、記録、分析 今、何を考えている なぜ、そうしようと思ったのか ユーザが インタフェースのどの部分に注目　して、 それをどのように　解釈　して、 どんな　行動　をとったのかを を詳細に把握可能

観察のポイント ユーザは独力でタスクを完了できただろうか。 完了できなければ、「効果問題」がある 端的に言えば、その製品は「使いモノにならない」 もっとも深刻なユーザビリティ問題 無駄な操作を行ったり、戸惑ったりしなかっただろうか。 独力でタスクを実施している間に、ユーザを考え込ませたり、遠回りさせたりする場合には、「効率問題」がある。 不安や不満を感じていないだろうか。 不愉快な思いをさせる場合には「満足度問題」がある 明示的に不満を表明する場合もあるが、表情や態度で暗示的に不満を表明している場合もある。 一般に、ユーザテストは効率問題（無駄な操作）を発見するが、深刻な効果問題が潜在する可能性に絶えず注意を払う

回顧法 回顧法（retrospective report method） 行動を観察、記録し、事後の質問への回答とともに分析する方法 被験者は思考発話法同様にタスクを実行 発話は行っても行わなくてもどちらでもよい タスク終了後に質問を行う 観察者が　操作に関するヒント　を与える心配がない。 複雑な状況　は回顧が難しいという欠点がある

思考発話法 Vs. 回顧法 一般に、思考発話法 のほうが推奨される ではどうするの？ 一般に、思考発話法　のほうが推奨される 文脈にそって分析したい場合は行動と発話があらかじめ組になっているほうが正確なデータの収集と分析が可能（複雑な状況は回顧できない） 回顧法はユーザが後付けで理由をつくってしまう 回顧法の利点 分析が簡単 他の手法と併用も可能 ではどうするの？ 思考発話法でテストし、回顧法であとから補足

ユーザテストの基本理論 ユーザテストは 反証 を目的とする 仮説がなければ、ユーザテストの意味はない。 ユーザテストは　反証　を目的とする 仮説「想定されるユーザ群（ペルソナ　に属するユーザ群）は、想定される　コンテキスト　で、○○の行動をとる」を立てる 製品を代表的ユーザに使ってもらう 効果・効率・満足度を阻害する問題点が あれば、仮説は否定。しかし、原因が判明する なければ、仮説が成立 仮説がなければ、ユーザテストの意味はない。 シナリオ・ペルソナ法　でユーザ・ニーズを特定 ヒューリスティック評価　で専門家の意見を聞く 仮説を立て、　プロトタイプでユーザテストを繰り返す

ユーザーテストの手順と概要 テストの目的の明示 被験者リクルート テスト設計 ユーザビリティ・ラボでの実査 分析・レポート 仮説 を明示 仮説　を明示 被験者リクルート リクルート条件決定、被験者募集、被験者への実施法説明 テスト設計 仮説を検証するテストとはどんなものか ユーザビリティ・ラボでの実査 ユーザの声を聞くのではない ユーザの行動を観察して問題点を発見する 分析・レポート プロトコル作成、プロトコル分析 評価レポート作成、改善のためのブレインストーミング　実施

被験者のリクルート デザインされたものを実際に使うターゲットユーザーを被験者として呼ぶ ペルソナのプロフィールに近い人を被験者のリクルーティング条件にする 反復デザインが有効 15人を対象に1回やるよりも、5人を対象に3回実施 5人という魔法の数字（by　ヤコブ・ニールセン） 被験者5名で84%の問題を発見可能 異なる条件のグループごとに5名ずつ被験者を集める

5ユーザでテストすれば十分 Jakob Nielsen博士のAlertbox　 http://www.usability.gr.jp/alertbox/ n人のユーザのテストでわかるユーザビリティ問題の数は次式で求められる N(1-(1-L)n) Nはデザイン上のユーザビリティ問題の数 Lはひとりのユーザをテストして発見できるユーザビリティ問題が全体に占める割合 数多くのプロジェクトを調査した結果、典型的なLの値は平均して31％ 84% L=31のときの上式のグラフ グラフより、5人以上テストしても時間の無駄であることがわかる

反復デザインの効果 1回だけ徹底的な調査をやるよりも、その予算を振り分けて小さなユーザテストを複数実施 ユーザ・テストの目的 単に欠点を洗い出すだけでなく、デザインを向上させること デザインの繰り返しで問題を減少させる 問題解決率を80%とする 15人のユーザで1回テストすると、グラフより発見率99.6% 100のうち100の問題を発見し、その中の　20個の問題　が残る 5人のユーザで3回テストすると、発見率を84％ 1回目のテストでは、100のうち84の問題を発見 80%解決できれば、33個の問題が残る 2回目のテストで、33のうち27の問題を発見 80%解決できれば6個の問題が残る 3回目のテストで、6のうち5の問題を発見 80%解決できれば　1個の問題　が残る

未経験者のための10のポイント ユーザテストの未経験者のためにポイントをまとめたサイトが多数存在 LivedoorのWebサイトのユーザテストの例 http://blog.livedoor.jp/ld_directors/archives/50758263.html

テスト設計編 1. 被験者は友人か知り合いでいい 友人でターゲット・ユーザに近い人がいれば、それでよい。 専門会社は被験者をランダムに抽出してくれるが高価 2. 被験者は5人でいい ニールセンの指摘による 3. 簡単なゴールを与えよう 被験者には、前もって操作をする目的を伝える。 e-コマースのWebサイトなら、「買いたいと思っている商品を探して購入してください」や、「商品のなかから、自分 に合いそうな物を探してください」 コミュニティサイトなら、「このサイトを通じて、友人をひとり作ってください」

テスト設計編（つづき） 4. 椅子は相手よりさげよう 相手が優越感を感じ、しゃべりやすくなる状況をそろえる。 自分の椅子の高さを相手よりさげておいて相手が自分を見下すようにしておく。 基本的には、自分がバカっぽいと相手はしゃべりやすくなる。 相手が自分の知っていることをしゃべっても、初めて知ったことにする。 5. プロトタイプは紙芝居でもいい 手っ取り早いユーザーテストのひとつが紙芝居 主要画面のデザインができた段階で、それを紙にコピーしてユーザに見せ、紙に印刷された ボタンをクリックしたらクリックした先に対応した画面の紙を差し出す 手書きの方が被験者が意見を言いやすくなるので、わざと汚く書くという方法もある。

テスト時のポイント 6.「今何を考えていますか？」と聞こう ユーザテストの教科書では、まず被験者に「考えていることを口に出してしゃべってください」とお願いするとある。 しかし実際には、被験者 は操作に夢中になっているわけで、問いかけなければしゃべってくれない 被験者が何かを迷っていたり、考えていたら「今何を考えていますか？」 または「今何をしようとしていますか？」と常に聞く。 7. 「そこをクリックすると、どうなると思いますか？」と聞こう。 ユーザーがなにかをクリックしようとすると、いったんそれを止めて「そこをクリックすると、どうなると思いますか？」と聞こう。意外なものを想定していることがある。 「その先は、どんな画面だと思いますか？」と聞く。 声をかけるのが遅れてしまい、ユーザーが次の画面に移った場合は、「想像していたものと、違いはありますか？」と聞く。 ユーザーテストは基本的に、ユーザから見てどのようにウェブサイトが映っているかを探るものなので、質問は「今何を考えていますか？」と「そこをクリックすると、どうなると思いますか？」のふたつで十分

テスト時のポイント（つづき） 8. やたらうなずこう 質問にユーザーが答えたら、やたらとうなずいて肯定する。 被験者は、自分の操作がヘタだと思われたり、自分の頭が良くない、と思われることを恐れている。その恐れをなくすため、相手が言ったことはすべて肯定する。 恐れが見えるようであれば、「このテストは、あなたをテストしているのではなく、サイトがどのように映るか、というサイトのテストです」と“あなたを評価しているわけではない”ことを繰り返し言う。 9. 誘導しない 被験者がうまく操作ができなかったり、サイトを理解できない場合、ついつい答えを導こうと自分が発言してしまう 自分が発言する際には、絶えず「この発言は誘導ではないか？」と自分に問いかけてから発言する。

テスト時のポイント（つづき） 10. 関係者全員で見よう ユーザーテストは、できるだけサイトに関わっているスタッフ全員で見学する サイトを作っている開発メンバが「ユーザーがサイトを使うの を間近で見る」という経験はあまりないので、開発メンバそれぞれが「自分の視点がもっとも一般的だ」と思ってしまう。 そのようなとき、意見が食い違って話 しが進まない 思い込みをなくすためだけにでも、参加する価値がある。

ブレインストーミングの７つの秘訣 トム・ケリー，ジョナサン リットマン著, 鈴木 主税訳,　イノベーションの達人－発想する会社をつくる10の人材，早川書房 1.焦点を絞る いろんなアイデアが数多く出るように、焦点を絞った具体的な質問が必要 2.ルールを意識する 「量を追求する」「大胆なアイデアを歓迎する」「視覚的に表現する」「独断的にならない」「話題は一度に一つ」 3.アイデアを数える アイデアを数多く出すには、その数を数えるのが手っ取り早い 4.飛躍をさせて蓄積を図る アイデアが枯渇すれば進行役が目先を変え違う視点から問題を見れるようにする 5.忘れずに空間利用をする 出たアイデアはどんどんポストイットに貼っていく。 視覚的に脳が刺激されアイデアが浮かびやすい。話が脱線した場合でも元に戻しやすい。 6.最初にストレッチをする ブレストの前に連想ゲームなどをやって頭をほぐしておく。 7.物理的に表現する ブレストの際も、プロトタイプづくりで使う発泡スチロールやテープなどを用意 し、いつでも簡単なモデルやスケッチができるようにする