分になるということだ。標準偏差を計算するために、最初に例外的に著しく遅いユーザたちを取り除いた。これは、やってもよいことなのだろうか。状況によっては、やってはいけないことだ。遅いユーザというのは、現に存在する。そのため、デザインの品質を計測する場合は考慮しなければいけない。そのため統計分析では、例外的なユーザを省くことを勧めるが、彼らがいることを忘れてしまってはいけない。例外的なユーザには定性分析を行い、どのような「不運」(障害)が彼らのパフォーマンスを悪くしていたのかを見つけ出そう。ほとんどの統計分析では、例外的なユーザを取り除いたほうがよい。例外はランダムで起こるため、調査ごとにその数は上下し、そしてこれら少数の極端なデータが平均値などの結果に深刻なゆがみを生んでしまうことになるからだ。統計値を出す唯一の目的は、他の統計値と比較するためだ。分といった統計値は、それだけではあまり役に立たない。分というのはよいのか、悪いのか。その唯一の数値をスライドにして、独立した数字として感心しながら眺めたところで、何も見いだせないのだ。分だったなら、それは著しく悪い。分以下だった場合だけだということから、既に判っていることだ。分という計測値はとてもよいユーザビリティを示していることになる。重要なのは、ユーザビリティを計測するのは、自社サイトと競合サイト、または新しいデザインと古いデザインといった、他のユーザビリティの計測値と比べるためだということだ。比較対象となる両方の統計値から、例外的なユーザを取りのいても、妥当な比較ができる。例外的なユーザを残していた場合は、どちらの統計値でも、タスクにかかった平均時間の値は多少高くなる。例外を取り除いたほうが、正しい結果を導き出せる可能性が高い。そのほうが例外的なユーザたちの極端な平均値を過大評価してしまう可能性がなくなるからだ。正規分布する観測値から平均を求める場合、その平均値の標準偏差は、個々の値から求めた標準偏差を観測数の平方根で割ったものとなる。%であることは判っている。%になるということだ。分かかるタスクをテストしているとする。標準偏差に収まることになる。確率で収まるということだ。%を求めていることを前提にした、様々なユーザ数でテストした場合で起きる誤差を示している(青い線)。%の場合が高すぎるということだ。実際のウェブのプロジェクトでは、これ以上正確である必要はない。%まで落とした場合を示している。場合が低すぎてもよいとき。)テストするユーザの数グラフ内で、誤差の範囲はユーザビリティ計測値の平均値の割合で示されている。