text: Unmoderierte Remote Usability Tests - Sicht der Anbieter - User Experience Blog
  Unmoderierte Remote Usability Tests - Sicht der Anbieter 23May12
  In meinem letzten Artikel zu unmoderierten Remote Usability Tests habe ich meine Sicht der Dinge dargelegt. Da ich diese UCD-Methode nichtsdestotrotz grunds�tzlich f�r interessant halte, habe ich die drei Remote Usability-Spezialisten Benjamin Uebel (RapidUsertest), Jan Wolter (testhub.com) und Christian Schroth (UINSPECT) eingeladen, aus eigener Erfahrung �ber unmoderierte Remote Usability Tests zu berichten.
  Wo siehst Du die wesentlichen Vorteile von unmoderierten Online Usability-Tests im Vergleich zu klassischen Usability-Tests im Labor?Benjamin Uebel (RapidUsertest): Die Kosten sind deutlich geringer. Die Testergebnisse liegen in 24 Stunden vor. Die Tests haben eine hohe �kologische Validit�t: sie finden in einer authentischen Test-Umgebung statt, zu Hause an den Rechnern der User. Die Tester sind zu Hause emotionaler und authentischer, als im Labor. Man kann geografisch verteilt testen: Testpersonen in der Stadt und auf dem Land haben teilweise vollkommen verschiedene Bed�rfnisse.
  Jan Wolter (testhub.com): Nat�rlich ist es so, dass Crowd Usability Tests keine 100% L�sung sind und eine Zielgruppe wie 70 J�hrige Frauen mit dem Hobby "Boxen" abbilden k�nnen. Allerdings wird das Potenzial der Methode oft verkannt. Sehr h�ufig werden �pfel mit Birnen verglichen. Ein klassischer Test ist h�ufig einfach viel teurer und zeitaufwendiger und kann deshalb einfach nicht so agil und h�ufig durchgef�hrt werden. Viele Firmen testen deshalb viel zu selten. Das ist wie einen First-Class Flug mit einem Economy-Class Flug zu vergleichen. Ohne Budget-Beschr�nkung ist klar, dass der First-Class Flug immer die bessere Wahl sein wird. Anders sieht es allerdings aus, wenn nur ein fixes Budget zur Verf�gung steht. F�r direktes Feedback einer in vielen F�llen gut passenden, neutralen Zielgruppe sind die Tests bestens geeignet. Das Preis-Leistungs-Verh�ltnis ist in vielen Anwendungssituationen auf der Seite von Crowd-Usability-Tests.
  Christian Schroth (UINSPECT): Es gibt 3 wesentliche Vorteile. Zum einen sind Online Usability-Tests einfach zu beauftragen. Unseren Kunden steht daf�r ein logisch gegliedertes Online-Formular zur Verf�gung. Unternehmen oder Selbst�ndige ben�tigen deshalb bei einem Online Usability-Test keine langen Planungs- und Organisationsphasen, wie bei einem r�umlich zentralisierten Labortest. Das gleiche gilt �brigens auch f�r unsere Tester. Ein Test ist deshalb innerhalb k�rzester Zeit erstellt und hilft somit unseren Kunden die Time-to-Market ihrer Website-Projekte zu verk�rzen. Der zweite Vorteil ist, dass unseren Kunden die Ergebnisse sehr schnell vorliegen. Wir f�hren die angeforderten Usability-Test innerhalb von maximal 24 Stunden durch und stellen sie dem Auftraggeber zum Abruf und zur Auswertung zur Verf�gung. Der dritte Vorteil sind die Kosten. Wir k�nnen die Usability-Tests zum Bruchteil der Kosten eines Labortests durchf�hren. Da wir kein station�res Labor unterhalten m�ssen, fallen auch keine Raummieten oder Zeitaufwand f�r aufw�ndige Organisation und keine Kosten f�r einen Moderator an. Diese Kostenersparnis geben wir an unsere Kunden weiter. Dadurch k�nnen sich auch kleine Unternehmen oder Selbst�ndige mit eingeschr�nktem Budget Online Usability-Tests leisten. Dank der Kombination dieser drei Vorteile k�nnen unsere Kunden h�ufiger Tests durchf�hren und erzielen damit Wettbewerbsvorteile vor ihren Mitbewerbern. Unsere Kunden k�nnen Usability-Tests ganz einfach in jeden Entwicklugsschritt einer Webseite integrieren und jede Ver�nderung der Webseite auf Ihre Auswirkung auf die Usability �berpr�fen.
  Was sind die Nachteile?Christian Schroth (UINSPECT): Ein Nachteil von webbasierten Usability-Tests besteht darin, dass es keinen Moderator gibt, der dem Tester evtl. aufkommende methodische oder organisatorische Fragen beantworten kann. Wenn ein Kunde die Videoaufzeichnung des Testers ansieht und dessen Vorgehensweise oder Kommentare nicht nachvollziehen kann, hat ein Moderator bei einem Test im Labor die M�glichkeit beim Tester nochmals genauer nachzufragen. Bei unmoderierten Tests ist dies nicht m�glich. Tester von UINSPECT m�ssen deshalb einen Aufnahmetest absolvieren, bevor sie f�r Kunden von uns Usability-Tests durchf�hren. Ausserdem legen wir viel Wert auf die Auswahl unserer Tester und achten darauf, dass sich jeder Tester rethorisch ausdr�cken kann und das Prinzip eines Usability-Tests verstanden hat.
  Jan Wolter (testhub.com): Wir k�nnen mit der Crowd ebenfalls (fast) jede Zielgruppe anbieten, dann nat�rlich aber auch nur zu etwas h�heren Preisen und mit etwas Vorlaufzeit. Also kein wirklicher Nachteil. Der gro�e Unterschied ist, dass eine Moderation des Tests nicht m�glich. H�ufig zeigt sich aber, dass dies bei guter Testkonzeption kein gro�es Problem ist. Nachfragen nach dem Test sind auf Wunsch ebenfalls m�glich.
  Benjamin Uebel (RapidUsertest): Man kann der Testperson keine Zwischenfragen stellen und nicht den Verlauf des Tests adhoc �ndern.
  F�r wen und welche Testgegenst�nde sind unmoderierte Online Usability-Tests aus methodischer Sicht geeignet?Benjamin Uebel (RapidUsertest): Online-Shops und Agenturen verwenden RapidUsertests zur Conversionrate-Optimierung. Usability-Probleme k�nnen dabei identifiziert und Hypothesen f�r AB-Tests gefunden werden. Entwickler komplexer Webseiten testen ihre Prototypen agil in der laufenden Entwicklung, um durch fr�hes Userfeedback Usability-Probleme zu beheben. Webseitenbetreiber begleiten mit Pre-/Post-Tests ihre Redesigns.
  Christian Schroth (UINSPECT): Usability-Tests beziehungsweise Think-aloud-Tests sind immer qualitativer Natur. Das gleiche gilt f�r unmoderierte Online Usability-Tests. Das Feedback spiegelt daher die subjektive Erfahrung beziehungsweise Empfinden der jeweiligen Testperson wider. Wir empfehlen generell, die Ergebnisse nach Testdurchf�hrung durch eine quantitative Methode wie beispielsweise einen A/B-Test zu �berpr�fen. Diese Empfehlung gilt �brigens nicht nur f�r unmoderierte Online Usability-Tests sondern auch f�r alle anderen qualitativen Testmethoden.
  Jan Wolter (testhub.com): Besonders gut geeignet vor allem im B2C Bereich f�r alle digitalen Inhalte, wie z.B. auch Apps. Also klassische Situationen in der der Proband typischerweise in seiner nat�rlichen Umgebung zu Hause gut aufgehoben ist und wenig Expertenwissen notwendig ist.
  … und f�r wen und was sind sie nicht empfehlenswert?Christian Schroth (UINSPECT): Ich denke, dass Online Usability- Tests grunds�tzlich f�r alle Betreiber von Webseiten sinnvoll und empfehlenswert sind. Bei privaten Website-Projekten, mit einem rein informellen Zweck, w�rde ich mich allerdings mit der Formulierung sinnvoller Aufgaben schwer tun. Nat�rlich kann es aber auch f�r einen Blogger interessant sein, einen Online Usability-Test durchf�hren zu lassen, um beispielsweise herauszufinden, wie gut die Nutzerf�hrung des Blogs beim Leser ankommt. Dank der oben genannten Kosteneinsparungen k�nnen auch Personengruppen Online Usability-Tests nutzen, die bisher finanziell keine M�glichkeit dazu hatten.
  Benjamin Uebel (RapidUsertest): Wenn man viele Zwischenfragen stellen m�chte, sollte man einen Labortest durchf�hren. Mittlerweile wurden mit RapidUsertests jedoch auch schon von Gro�unternehmen sehr komplexe Online-Dienste �ber verschiedene Testdesigns getestet
  und die Kunden waren bisher sehr zufrieden. Man muss einfach etwas mehr Testpersonen testen und kommt so zu absolut kompetitiven Resultaten. Wer Blickbewegungen per Eyetracking erfassen m�chte, ist noch auf einen Labortest angewiesen. Wir werden in den n�chsten Monaten wissenschaftlich validierte Blickbewegungssimulationen anbieten.
  Jan Wolter (testhub.com): Wenn ich auf starke Interaktion mit den Probanden angewiesen bin, den Test moderieren m�chte oder neben dem Bildschirm auch den Probanden selbst beobachten m�chte. Umso gr��er die verf�gbaren Budgets sind, umso leichter f�llt es auch �fter im Labor zu testen. Allerdings sollte man als Kunde nicht den Fehler machen, statt 10 kosteng�nstigen Tests w�hrend der gesamten Entwicklungsphase nur einen Test im Labor zu machen.
  Ein wesentlicher Unterschied dieses Testverfahrens ist, dass es keine Interviewer gibt, die die Testperson direkt beobachten und aus der Beobachtung Erkenntnisse ableiten. Gehen dadurch nicht wesentliche Erkenntnisse verloren?Jan Wolter (testhub.com): Nat�rlich gehen einige Erkenntnisse verloren. Allerdings sind das im allt�glichen Einsatz nicht die wesentlichsten Elemente, die den hohen Kostenunterschied rechtfertigen k�nnten.
  Christian Schroth (UINSPECT): Nein, da wir alles was der Tester w�hrend dem Test sagt und tut audiovisuell aufzeichnen und sp�ter dem Kunden zur Auswertung in Form von Videos mit Bildschirm und Sprachaufzeichnung zur Verf�gung stellen. Da die UINSPECT-Tester au�erdem den Test in ihrem heimischen Umfeld und mit ihrem eigenen Computer durchf�hren, ist ein unmoderierter Online-Usability-Test lebensechter als ein im Labor unter "k�nstlichen" Bedingungen durchgef�hrter Test.
  Benjamin Uebel (RapidUsertest): M�glicherweise. Jedoch muss man fragen: Welche konkreten Erkenntnisse gehen denn verloren? Nicht aufgezeichnet werden Gestik und Mimik. Wie wertvoll sind diese vom Testleiter subjektiv interpretierten Gesten tats�chlich? Wenn sie wichtig w�ren, w�rden wir sie per Webcam aufzeichnen.
  Wie stellt Ihr sicher, dass die Testpersonen in Euren Studien zum Testgegenstand passen?Benjamin Uebel (RapidUsertest): Alter und Geschlecht der Zielgruppe kann online vom Kunden segmentiert werden. Au�erdem k�nnen individuelle Anforderungen definiert werden. Es werden dann nur die Testpersonen eingeladen, die zur Zielgruppe passen. Es gibt keine "Durchschnittsuser".
  Jan Wolter (testhub.com): Wir richten uns hier vollst�ndig nach den Kundenanforderungen und stehen bei Bedarf auch beratend zur Seite. Bis jetzt haben wir noch jede Zielgruppe abdecken k�nnen vom DJ bis zum Silversurfer.
  Christian Schroth (UINSPECT): Wenn ein Interessent bei uns einen Online Usability-Test beauftragt, kann er die Zielgruppe einzugrenzen. Im Moment k�nnen unsere Kunden auf Wunsch zwischen m�nnlichen und weiblichen Testern w�hlen. Bereits in wenigen Wochen k�nnen unseren Kunden weitere Typisierungs-Merkmale ausw�hlen, wie Einkommen, Interneterfahrung, Alter etc. Schon jetzt k�nnen Kunden bei uns in einem Freitextfeld Besonderheiten definieren. Hier sind dem Auftraggeber keine Grenzen gesetzt. Bevor der Tester den Test annimmt, bekommt er die Auftragsbeschreibung angezeigt, so dass er vorab sieht, ob er die n�tigen Voraussetzung erf�llt oder nicht. Beispielsweise kann ein Kunde hier angeben, dass die Tester �ber einen Hochschulabschluss verf�gen m�ssen oder einen Facebook-Account haben m�ssen.
  Wie genau kann man als Kunde die Auswahl der Testpersonen beeinflussen?Jan Wolter (testhub.com): Alter, Geschlecht, Interneterfahrung k�nnen immer gew�hlt werden. Dar�ber hinaus bieten wir viele weitere Optionen auf individueller Basis an: Einkommen, Interessen, Beruf, Familienstand, Online-Shopping-Verhalten, usw.
  Benjamin Uebel (RapidUsertest): Man kann einerseits seine Bestandskunden testen, da unser webbasierter Screenrecorder keine Installation erfordert. Man muss dann einfach einen Link verschicken. Oder man nutzt unseren Testerpool und kann nach Alter & Geschlecht segmentieren, sowie Sonderw�nsche �u�ern, wie "Sie haben bereits Farben (Airbrush~, Kosmetik~) im Internet bestellt". Funktioniert alles.
  Wie vermeidet Ihr, dass Testpersonen unmoderierte Online Usability-Test nur als zus�tzliche Einnahmequelle verstehen - Stichwort Testtouristen?Christian Schroth (UINSPECT): Wir sind an einer langfristigen Zusammenarbeit mit unseren Testern interessiert. Das ist uns auch eine anst�ndige Verg�tung wert. Im Gegenzug erwarten wir nat�rlich auch Engagement. Dass wir an unsere Tester glauben, die �brigens sehr gute Arbeit leisten, zeigt unser Invest: F�r Neukunden ist beispielsweise der erste Test gratis, um sich von der Qualit�t unserer Usability-Tests �berzeugen zu k�nnen. Au�erdem geben wir all unseren Kunden eine Geld-zur�ck-Garantie, wenn sie mit der Qualit�t eines Tests nicht zufrieden sind. Zudem k�nnen Kunden die Tester nach Auftragsabwicklung bewerten. "Testtouristen" fallen deshalb bei UINSPECT schnell auf und m�ssen dann "auschecken".
  Benjamin Uebel (RapidUsertest): Unsere Kunden k�nnen ihre Tester auf einer 5-Sterne-Skala bewerten. Wird ein Tester vom Kunden schlecht bewertet, erh�lt der Kunde Ersatz und der Tester wird zuk�nftig nicht mehr eingeladen. So stellen wir eine kontinuierlich hohe Qualit�t sicher.
  Jan Wolter (testhub.com): Tester k�nnen nur eine maximale Anzahl an Tests durchf�hren pro Monat. Au�erdem haben wir einen sehr gro�en Tester-Pool, so dass wir nicht Gefahr laufen zu wenige Tester an Board zu haben. Die Verg�tung von 10 � pro Test ist einfach auch f�r die sehr unregelm��ige Teilnahme sehr verlockend.