ナレッジknowledge

2016/8/19

【連載】高速ユーザーテスト実践講座 第3回「ユーザーテストの基本理論」

・第3回「ユーザーテストの基本理論」

 
ユーザーテストには前提となる独自の理論や概念があります。それを理解していないと、ユーザーテストを誤解したり、誤用したりしてしまいます。そこで、今回は最も基本的な3つの概念を説明します。
 

・5人のユーザー

 

nrg003_001
 

ユーザビリティ工学の開拓者ヤコブ・ニールセンは、テストする人数と発見できるユーザビリティ問題の数に関する公式を明らかにして、「5人のユーザーでテストすれば、ユーザビリティ問題の大半(約85%)を発見できる」という説を唱えました。
 
実際、ユーザーテストの現場では「3人目くらいまでは新たな問題点の発見が続くが、4人目以降では新たな発見は少なくなってくる」という経験則が以前から知られていました。ヤコブ・ニールセンは、これに数学モデルを当てはめて立証しようとしたのです。
 
この説は、それまでの大規模な実験を前提とした学術的なユーザビリティに対して、費用対効果に優れた実用的なユーザビリティが普及するきっかけとなりました。従来、膨大なコストと時間を費やしていたテストの85%の成果が、わずか5人のユーザーをテストするだけで得られることが明らかにされたからです。
 
これに対して他の研究者からは多くの反論がありましたが、開発の現場では徐々に支持が広がり、現在では、何十人もテストするのではなく5~6人の小規模なテストを行うことが世界標準になっています。
 

nrg__cap002
ヤコブ・ニールセンは経験則に数学モデルを当てはめて
被験者数と問題点の数の関係を明らかにしようとした。

 

 
なお、ヤコブ・ニールセンは「5人のテストを“1回”やれば十分である」と言っているわけではありません。テストで分かるのは問題点です。発見された問題点を修正したうえで再度検証しない限り、その修正が本当に正しかったかどうかは判断できません。そして、その再検証でさらに新たな問題が見つかるかもしれません。そのため、通常は5人のテストを2~3 回、つまり延べ10~15人のテストを行います。
 

・総括的評価と形成的評価

 
私たちは様々な場面で様々なテストや試験を受けてきました──期末試験、入学試験、就職試験、昇進試験、資格試験、etc……。このようなテストや試験は、その評価目的によって「総括的評価」と「形成的評価」に大別できます。

総括的評価とは、学習成果の総合的な達成度合いを“測定”することを目的とした評価です。総括的評価は、学校の期末テストのように一定の学習が終了した後に実施して、通常、得点化を行います。得点化したデータはさらに分析して、得点の分布や平均点を算出したりします。これまで私たちが受けてきたテストや試験の多くは総括的評価を目的としたものです。

 
一方、形成的評価とは、小さい学習単位ごとに、どれくらい理解できているか、理解するためには何をしなければならないかをフィードバックするための評価です。形成的評価は得点をつけることが目的ではなく、理解度を“改善”することが目的です。これは正規のテストや試験というよりも、家庭教師や個別指導の塾で出される小テストや演習課題のようなものです。
 

総括的評価と形成的評価は相互補完的な役割を果たします。どちらか一方が重要という訳ではありません。ただ、忘れてはいけない重大な原則があります。それは「総括的評価しか行わないのならば、それは全くの無駄な投資である」ということです。
 
形成的評価を行わずに総括的評価だけを行うのは、「勉強しないで期末試験を受ける」ようなものです。結果は悪くて当たり前ですし、評価結果から具体的な改善策は何も得られません。総括的評価とは、コツコツと努力を積み重ねた後に、その成果を把握するために実施するものなのです。
 
本連載で解説する高速ユーザーテストは形成的評価を目的としています。つまり、スコアをつけることが目的ではなく、具体的にどこに問題があるのか、なぜ問題が発生したのかを明らかにして、製品の品質を改善することが目的です。
 

・反証アプローチ

 
ユーザビリティを“実証”するのは困難な作業です。どんな利用状況で、どんなユーザーで、何種類のタスクを検証すれば、その製品のユーザビリティの良し悪しを検証したと言えるのでしょうか。全ての状況をテストすることは事実上不可能です。
 

そこで、まず「この製品にユーザビリティ問題はない」という仮説を立てます。そして、その仮説を検証するために、実際に何人かのユーザーにその製品を使っていくつかの重要なタスクを実行してもらいます。これがユーザーテストです。
 
もし、ユーザーテストで効果・効率・満足度を阻害している具体的な問題点が見つかれば、それは「仮説を否定する証拠=反証」になります。特に、第1回で紹介したエリック・リースが行ったユーザーテストの結果のように、同じ問題点が何度も繰り返し観察された場合、それは「強い反証」になります。つまり「この製品にユーザビリティ問題はない」という仮説は崩れます。
 
仮説が崩れたからといって悲観する必要はありません。そもそもユーザーテストでは積極的に反証を見つけようとしているので、問題点が見つかるのは当たり前のことです。それに、高速ユーザーテストは問題点の発見だけでなく、その場で解決案まで考えてしまうので、開発チームはすぐに製品の改善に取り掛かれます。
 
このような「テストと改善」を何度か(通常2~3回)繰り返していると、そのうちに強い反証は見つからないという状態に達します。つまり「反証はない=問題はない」ことになります。これがユーザーテストの終点です。
 
ユーザーテストとは製品のユーザビリティを実証するものではありません。テストに合格したといっても、それはあくまで「今のところ(強い)反証はない」というだけのことです。だから、私たちは製品をリリースした後も、ユーザーからのフィードバックを積極的に受けつけて、絶えず反証の有無に注意し続けなければいけないのです。
 

81vCozoDHzL._UX250_
【著者紹介】
樽本 徹也(たるもと てつや)
利用品質ラボ代表。ユーザビリティ工学が専門で特にユーザ調査とユーザビリティ評価の実務経験が豊富。著書は『アジャイル・ユーザビリティ 』 『ユーザビリティエンジニアリング(第2版)』(いずれもオーム社)など。
認定人間中心設計専門家、認定スクラムプロダクトオーナー。産業技術大学院大学「人間中心デザイン」講師。

>>第1回「ユーザーテストとは」
>>第2回「ユーザーテストの大原則」 

 

************大好評!ダウンロード資料公開中************

▼「高速ユーザーテスト実践ワークショップ」レポート▼

pic_download02

お問い合わせ

ユーザーテストのお問合せは下記からお願いします

電話でのお問い合わせ/053-545-5105(月〜金/9:00〜18:00)