arai blog

振り返りや日々学んだ事を書きます。

UX KYOTO#06 ユーザー評価(実査)

先週1/18(日)に、UX KYOTO#06に参加しました。

今回はユーザー評価 3回シリーズの2回目で、ユーザー評価の実査編です 。

私は前回不参加だったのですが、前回は「ECサイトユーザビリティ」をテーマに、ユーザー評価に向けたタスク設計・ そのタスクのパイロットテスト(タスク設計が妥当かどうかのテスト)を行ったそうです。

前回でタスク設計が完成したので、今回はそのタスクを使ってユーザー評価の実査に入ります。

 

モデレータと記録者を決めて早速始めていきます。

ステップはこんな感じです。

 

1被験者に何かを声に出して読んでもらう

2被験者にタスクを声に出しながらその通りにこなしてもらう(記録スタート)

3テスト終了

4これを4名分繰り返す

 

1被験者に何かを声に出して読んでもらう

f:id:nn_ari:20150123195444j:plain

来月プロトコルデータを書き出すために録画録音するので、きちんと声が滑舌よく出ている必要があるため。

ここでインタラクションシナリオを読んでしまわないように注意!

先に全部読んでしまうと、観察者が思った道筋で作業をしてもらえなくなるそうです。

私達のチームではECサイト利用規約を声に出して読んでもらいました。

 

2記録スタート

f:id:nn_ari:20150123200237j:plain

被験者は前回作ったペルソナになりきって、「○○のカテゴリはどこだろう」とか「他の色も確認したいんだけどどこから見れば〜・・・」など、思っていることを口に出しながらタスクをこなしています。(思考発話法)それらの発言がキーとなって問題点が発見されます。

ですが人は熱中すると無口になるので、モデレーターは被験者の発言を促します。

ただし、被験者の質問には直接答えないように気をつける。「こうですか?」と聞かれても答えちゃダメ。「自分だったらどうしましたか?」などと返します。 

そして観察者は観察シートに被験者の行動・発話とシステムの動きを記入していきます。

f:id:nn_ari:20150123200809j:plain

↑こんな風に、インタラクションシナリオに直接観察したことを書いていくと分かりやすいそうです。

この時点では来月書き起こすプロトコルデータとの違いがよく分かっておらず何を書けば・・・となりあまりメモする手が動きませんでした〜・・・普通にエラーや戸惑っていたところを書いたらよかったんですよね。

 

↓ちなみに下がタスクで上がインタラクションシナリオです。

被験者はタスクを読みながら。観察者はインタラクションシナリオに記録していきます。

f:id:nn_ari:20150123202034j:plain

 

「終了しました」と言ってもらいテスト終了

終わったら感想をインタビューすることが大切!  振り返りながら感想、詳細を聞き出します。

私は被験者としても参加したのですが、ペルソナとしてよりは自分として感想を言ってしまった気がします。難しい。

 4これを4名分繰り返す

メンバー(エキスパートユーザー)1名・外部(ノービスユーザー)3名。(理想はメンバー2名・外部5名だそう)

 

観察が終わったら、模造紙にステップを構造化して問題点を発見するためにブレストしていきます。

f:id:nn_ari:20150123203021j:plain

f:id:nn_ari:20150123204156j:plain

ステップを構造化するというのは、

f:id:nn_ari:20150123203920j:plain

こういう感じにステップを大きくジャンル分けして見出しをつけることです。

こうやって分けておくことで、どのステップにエラーが起こったかが分かるようになります。

 

そしてグループの観察結果の模造紙が完成です。

私達のチームは、ペルソナ(お財布を握る姐さんワーキングマザー)が自分と夫の両親に、毛布のペアセットをそれぞれ同じセットで送る。というシナリオでした。

f:id:nn_ari:20150123204423j:plain

たくさんの問題点が発見できました。だけどこの時点では、問題の洗い出ししかできないそうです。たくさん問題点が密集しているからここは重要なはずだ!と思っても、実はそれらの重要度はそんなに高くなかったりとか。

なのでどの問題が重要かを「大」「中」「小」とメモして分けておきます。

次回のNE比分析では問題の重み付け(優先順位)までできるのだそうですが、浅野先生がおっしゃっていた「NE比での問題箇所と今回の観察結果が同期していると説得力がある」というのはここで分けた「大」「中」「小」との同期ということなのでしょうか。

(そしてもし同期していなかった場合は、何がいけないことになるのだろう・・・まずエキスパートとして問題点の優先順位を付けてみて、それをデータと照らし合わせて、自分達の考察は正しかった/間違っていたと確認するため?)

 

各チームプレゼン・講評もしていきます。

f:id:nn_ari:20150123211708j:plain

1番着目した問題点(「大」のところ)にぐっと絞って解決策を考えていたので 、Fチームの問題のプレゼンが分かりやすかったです。

やっぱり今回の観察結果の時点だと、全ての問題が同じレベルで、重み付けをしないと「全部直さなきゃ!」と思ってしまうのでなかなかしんどいと思いました。

そしてプレゼンの途中で先生が「△人いた中で○人が□□という行動をとった」という説明をするといいとおっしゃっていました。数字を出すと分かりやすくなる。

f:id:nn_ari:20150123213307j:plain

なのでそれから各チーム数字を使ってプレゼンをしていったのですが、主観が無くなり結果からの判断になるのでめちゃくちゃ分かりやすかったです。

 

次回は数値で見るのでまた違った結果が見えてくるのかと思うと楽しみです。

と同時に今回も追いつくので精一杯(「これは何のためにしてるの?」「あの作業とどう繋がるの?」とパニックに。今回はエキスパートとかノービス関係なくとにかく問題点の洗い出しだけをした!というのを終わってから理解しました。)

)だったので、ちょっとだけ心配です。

この3回シリーズの流れを忘れずに次回ものぞみたいです。