Tipps für bessere Testergebnisse I: Die richtige Stichprobengröße

Jeder Webseitenbetreiber, der einen Usablity-Test durchführt, steht irgendwann vor der Frage „Welche Stichprobengröße soll ich wählen?“. Um die Entscheidung zu erleichtern, hier ein kleiner Guide, zur Wahl der richtigen Testerzahl.

Welche Stichprobengröße soll ich wählen?

Zwei Faustregeln:

1. Je größer die Stichprobe, desto zuverlässiger das Testergebnis.
2. Je kleiner die Stichprobe, desto geringer mein Aufwand.

Ein Webseitenbetreiber muss zwischen diesen beiden Polen abwägen und hier wollen wir eine kleine Entscheidungshilfe geben.

Ziel 1: Zuverlässige Ergebnisse

Als Faustregel gilt – Je größer die Stichprobe, desto zuverlässiger das Testergebnis. Kleine Stichproben (unter 10 Testpersonen) bergen Risiken. Beispiel zwei Testpersonen: Angenommen, zwei Tester stoßen auf unterschiedliche Probleme. Wie ermittelt man, welches Problem wichtiger ist? Lassen sich an zwei Testern gefundene Probleme bereits verallgemeinern und daraus Schlussfolgerungen zur Optimierung der Seite ziehen? Das Risiko, Fehlentscheidungen zu treffen ist vorhanden.

Mit größeren Stichproben kann man die Häufigkeit der Usability-Probleme besser einschätzen und so die nötigen Optimierungen sicher priorisieren. Große Stichproben sind auch dann wichtig, wenn man das Management von Veränderungen überzeugen und die Ergebnisse durch quantitative Aussagen erhärten will.

Ziel 2: Geringer Aufwand

Auf der anderen Seite wollen viele Webseitenbetreiber sparsam mit Zeit und Geld umgehen. Je größer die Stichprobe, desto größer der Auswertungsaufwand und Testkosten.

Minimieren Sie Ihren Auswertungsaufwand, indem Sie die Auswertung durch Usability-Experten vornehmen lassen. Diese lassen in ihren Analysen die individuelle Erfahrung aus dutzenden Testprojekten einfließen. So muss man am Ende nur noch zwei Stunden Zeit für die Präsentation und Diskussion der Resultate einplanen und erhält professionell ausgewertete Testergebnisse.

Viele Webseitenbetreiber haben nur ein kleines Budget für Testing. Vergegenwärtigt man sich jedoch, dass ein klassischer Usability-Test im Labor mit 10 Testpersonen ca. 10.000 € kostet, ist der Preis von 499€ für einen 10er RapidUsertest sehr gering. Wie mehrere Studien gezeigt haben, sind die Ergebnisse der RapidUsertests vergleichbar zu den Ergebnissen klassischer Labortests. Wir empfehlen daher Tests ab 10 Testpersonen.

Faustregeln für die Wahl der Stichprobengröße

• Ab 7 Testpersonen sinkt das Risiko, dass man sich nur auf zufällige Einzelmeinungen fokussiert.
• Ab 10 Testpersonen kann man die wesentlichen Ergebnisse gut priorisieren.
• Ab 20 Testpersonen kann man belastbare quantitative Aussagen ableiten.
• Ab 30 Testpersonen werden seltene, aber schwerwiegende Fehler sicher aufgedeckt.
• Ab 40 Testpersonen sind experimentelle Untersuchungen auf Signifikanzniveau möglich.

Welche Stichprobengröße in welcher Situation?

Sie kennen RapidUsertests noch nicht – Empfehlung: Kennenlern-Test mit 2 Testpersonen

Um sich einen ersten Eindruck zu verschaffen, bieten wir Tests mit 2 Testpersonen für 49 € an. Dies ist jedoch keine Basis für eine Optimierung, weil die Ergebnisse noch zufällig und zu subjektiv gefärbt sind. Für Optimierungen empfehlen wir klar größere Stichproben.

Sie machen den ersten großen Test – Empfehlung: 10-20 Testpersonen

Für den ersten Test ist eine Stichprobengröße von 10-20 Testpersonen optimal. So kann eine gute Priorisierung der gefundenen Probleme vorgenommen werden.

Sie haben eine breite Zielgruppe – Empfehlung: 10-20 Testpersonen

Auch bei breiten Zielgruppen empfehlen wir 10-20 Testpersonen. Es gibt z.B. sehr große Unterschiede im Verhalten alter und junger Internetnutzer. Diese werden mit dieser Stichprobengröße gut aufgedeckt. Bei zwei sehr verschiedenen Zielgruppen kann es Sinn machen, parallel zwei Tests mit identischen Aufgaben zu starten.

Sie haben hohen Traffic – Empfehlung: Bis 30 Testpersonen

Hat Ihre Seite viel Traffic lohnt sich ein Test mit bis zu 30 Testpersonen, weil mit großer Stichprobe auch seltene, aber für die Conversionrate zentrale Probleme entdeckt werden. (Beispiel: Wenn 4 von 30 Testpersonen das gleiche schwerwiegende Problem im Checkout haben, sind das über 10% Verlust. Mit einem 10er Test wären diese seltenen Probleme ggf. nicht entdeckt oder nicht richtig priorisiert worden.)

Sie wollen das Management überzeugen – Empfehlung: 20+ Testpersonen

Sie wollen mit den Testergebnissen das Management von der Notwendigkeit von Optimierungen überzeugen. Um zu vermeiden, dass Ihre Testergebnisse mit dem Argument „Das sind doch subjektive Einzelmeinungen.“ weggefegt werden, empfiehlt sich eine Testerzahl von 20 Testpersonen aufwärts. Damit werden aufgedeckte Probleme in der Regel mit dem nötigen Ernst behandelt.

Sie testen regelmäßig – Empfehlung: 5-10 Testpersonen

Wenn Sie mehrfach im Quartal testen, hat sich diese Stichprobengröße bewährt. Sie ist schnell auszuwerten und Sie können aus Ihrer Erfahrung einfach die Ergebnisse mehrerer Tests miteinander in Beziehung bringen. Aber auch hier gilt die Faustregel: Je höher Ihr Traffic, desto mehr Testpersonen sollten Sie verwenden, um möglichst belastbare Ergebnisse zu erhalten.

Sie haben komplexe Fragestellungen – Empfehlung: 40+ Testpersonen

Wenn Sie komplexere Fragestellungen untersuchen wollen („Welcher Prototyp ist nutzerfreundlicher, im Vergleich zur Live-Version? Werden Bestands- und Neukunden gleich gut abgeholt?“ usw.) kann man mit den RapidUsertests problemlos experimentelle Testanordnungen durchführen. Diese kann man statistisch auf Signifikanz überprüfen und umfassend auswerten.

Fragen Sie unsere Berater:
Für ein orientierendes und unverbindliches Beratungsgespräch: 030/54487025
Per E-Mail: info@userlutions.com

Warum bieten wir Tests mit kleinen Stichproben an, obwohl wir diese nicht empfehlen?

Unser Ziel ist es, möglichst vielen Webseitenbetreiber den großen Nutzen von Usability-Tests erfahrbar zu machen, auch wenn das Budget klein ist. Damit konnten wir schon hunderte kleine Webseitenbetreiber von den Testergebnissen profitieren lassen. Auch wenn die Ergebnisse kleiner Stichproben nicht hochpräzise sind, auch dieser Grundsatz gilt: besser klein testen, als gar nicht testen.

Hier geht es zum zweiten Teil unserer Tipps für bessere Testergebnisse (selbst auswerten vs. auswerten lassen).