RapidUsertests besser als klassischer Labortest
Wiederholt wurde die Qualität der RapidUsertests getestet – diesmal von der eResult GmbH, einer Agentur für Usability, Online-Marktforschung, Online-Marketing und Kundenzufriedenheit. Das Ergebnis: Online-Usability-Tests von RapidUsertests identifizieren die selben Probleme wie klassische Labor-Tests, sind dafür aber wesentlich preiswerter.
RapidUsertests identifizieren mehr leichte und mittlere Probleme
eResult testete den Onlineshop mein-schnulli.de und veröffentlichte die Vergleichsstudie auf dem Usabilityblog. Betrachtet wurde, ob die Nutzer mit dem Kauf von individualisierten Produkten zurecht kamen und ob sie sich über die Babyartikel ausreichend informiert fühlten. Im Labor wurde mit einer Stichprobe von 12 Probanden und bei den RapidUsertests mit 20 Testpersonen gearbeitet.
Die RapidUsertests konnten mehr mittelschwere und leichte Probleme identifizieren.
Der RapidUsertest identifizierte genauso viele schwerwiegende Probleme, wie der Labortest und konnte sogar mehr mittelschwere und leichte Probleme aufdecken. Zu ähnlichen Ergebnissen kam auch Franco Salvetti, Chefentwickler der Suchmaschine Bing in einer aufschlussreichen Studie von Microsoft. In dieser wurden auch die Ergebnisse von Crowd-Usability-Tests mit klassischen Tests verglichen.
Der geringere Preis ermöglicht häufiges Testen und größere Stichproben
Mehrere unabhängige Vergleichsstudien zeigen, dass die RapidUsertests mit bewährten Usability-Tests nicht nur mithalten können. Der geringe Preis ermöglicht größere und häufigere Tests, als es mit klassischen Methoden möglich ist. Während ein Test mit 12 Probanden und Auswertung bei einer Usability-Agentur über 10.000 EUR kostet, sinken die Kosten bei einem Remote-Test inkl. Experten-Auswertung auf wenige Tausend Euro. Wenn man den Test selbst auswerten möchte, fallen Kosten von wenigen hundert Euro an.
RSS-Feed abonnieren
Achtung, die Darstellung unserer Studienergebnisse finde ich ein wenig zu beschönigt hinsichtlich des Einsatzes von RapidUsertests.
1.) Es braucht mehr Probanden.
2.) Es braucht mehr Zeit sich die Videos anzuschauen.
3.) Ich kann nur Dinge testen, die auch onlinefähig sind und die für die Öffentlichkeit bestimmt sind.
4.) Was habe ich davon mehr mittlere und leichte Probleme zu identifizieren, deren Behebung es nicht lohnt?
5.) Es sind nur Tests von max. 20-25min möglich.
5.) Knowhow sowohl bei der Gestaltung des Studienkonzeptes und der Auswertung und Interpretation der Daten sind wichtig.
Wie bereits auf http://www.eresult.de/studien_artikel/forschungsbeitraege/usability-testmethoden_im_vergleich.html beschrieben, relativiert sich die Euphorie und zeigt deutlich die unterschiedlichen Einsatzbereiche und Stärken beider Methoden auf.
Hallo Martin, vielen Dank für Deinen Kommentar!
1) Richtig. Man benötigt 1.5 mal so viel Probanden. Diese sind im Vergleich zu Lab-Tests sehr preiswert.
2) Widerspricht das nicht Deinem Argument 5?
3) Da haben wir die selbe Meinung. Remote-Usability-Tests sind nur von online-fähigen Produkten möglich. Eine Stärke der Labortests.
4) Bemerkenswert ist: Die Online-Tests haben alle schweren Probleme des Lab-Tests identifiziert. Bei den leichten und mittleren Problemen gibt es häufig “low-hanging-fruits” – Probleme, die mit wenig Aufwand behoben werden können. Von daher kann der zusätzliche Erkenntnisgewinn lohnen.
5) Ein durchschnittlicher Webseitenbesuch (in der Realität) dauert unter 20 Minuten. Ist die Länge eines Tests wirklich ein Problem, wenn die Ergebnisse stimmen?
6) Absolut, deswegen sollte man Unterstützung bei Konzeption und Auswertung in Anspruch nehmen. Dies bieten unter anderem eResult und Userlutions an. :)
Die klassischen Verfahren haben Ihre Stärken (Moderation, Kombination mit physiologischen Messungen), von denen auch wir überzeugt sind. Wir wollen einen großen Vorteil der Videotests jedoch klar benennen: Preiswert mit hoher Qualität testen. Letztlich können so viel mehr Webseitenbetreiber von Usability-Optimierungen profitieren :)