Usability-Tests und damit auch herkömmliche RapidUsertests haben eine Schwäche. Sie sind zwar sensationell gut darin, User-Experience-Probleme bei der erstmaligen Nutzung eines Produkts aufzudecken; einige User-Experience-Probleme zeigen sich jedoch erst bei der kontinuierlichen Verwendung eines Produkts im Alltag.

Wir nutzen Apps und andere Online-Tools beim Kochen, beim Joggen, beim Taxiruf, auf Reisen, im Büro-Alltag… Ihre Stärken und Schwächen offenbaren sie oft erst in der täglichen Praxis. Sicherlich könnten auch Sie auf Anhieb einige Dinge aufzählen, die Sie an regelmäßig verwendeten Apps stören oder vermissen. Doch wie können Betreiber eines solchen Tools möglichst unkompliziert herausfinden, was Ihre Nutzer nach regelmäßiger Verwendung des Produktes empfinden?

Auch hierfür eignet sich Crowd-Usability-Testing – nur etwas anders angewendet, als Sie das bisher kennen.

In unserem Webinar “Hacking UX: Advanced UX-Testing” erfahren Sie nicht nur, wie Langzeitstudien mit Crowd-Usability-Tests funktionieren, sondern wir stellen auch andere Use-Cases wie User-Research und Card-Sorting vor.

Kartenapps sind ein typischer Fall für Langzeit-Crowd-Usability-Tests

Karten-Apps werden typischerweise unterwegs verwendet. Sie decken Ihre Schwächen oft erst bei der regelmäßigen Verwendung im Alltag auf, wenn viele verschiedene Use-Cases durchlaufen wurden.

Karten-Apps werden typischerweise unterwegs verwendet. Sie decken Ihre Schwächen oft erst bei der regelmäßigen Verwendung im Alltag auf, wenn viele verschiedene Use-Cases durchlaufen wurden.

Crowd-Usability-Tests als Langzeitstudien – Fallbeispiel

Für einen App-Test haben wir kürzlich eine Methodik entwickelt, um mit RapidUsertests auch Einblicke in die längerfristige Nutzung eines Produkts zu erhalten.
Die besagte App soll Autofahrer unter anderem beim benzinsparenden Autofahren unterstützen. Durch einen herkömmlichen Usability-Test ließe sich nur die Bedienbarkeit und der erstmalige Eindruck der App testen, nicht aber, ob sie tatsächlich ihren Zweck erfüllt. Daher rüsteten wir unsere Tester bereits zwei Wochen vor dem eigentlichen Nutzertest mit der App aus. Ihre Aufgabe war es, ihr Auto und die App in dieser Zeit genauso zu nutzen, wie sie es im Alltag auch tun würden.
Im anschließenden Nutzertest schilderten die Tester dann nicht nur die Probleme, die sich während der gleichzeitigen App-Nutzung stellten. Viel mehr konnten sie nun auch ihre größten Herausforderungen beschreiben, die sich während der zweiwöchigen Testphase in ihrem Auto gezeigt hatten. So konnten User-Experience-Potenziale aufgedeckt werden, die sich in einem herkömmlichen Usability-Test nicht gezeigt hätten.
Einige Beispiele:

  • Die App erzeugte einen enormen Datenverbrauch pro gefahrenem Kilometer. Den Datentarif einiger Nutzer trieb sie daher an seine Grenzen, was natürlich zu Unmut führte.
  • Die Nutzer konnten außerdem aufdecken, dass einige von der App gesammelte Daten nicht mit den Daten des Fahrzeugs übereinstimmten.
  • Auch die Bewertung bestimmter Features veränderte sich im Zeitverlauf. So erschloss sich der Mehrwert bestimmter Funktionen erst während einer längeren Nutzung. Andere Features, die beim ersten Eindruck überzeugten, wurden hingegen in der Langzeitnutzung nicht mehr als wertvoll empfunden.

Auch wir waren überrascht vom Detailreichtum und der Tiefe der Erkenntnisse in dieser Langzeitstudie. Die Tester gingen extrem gut vorbereitet in den Nutzertest. Alle hatten sich schon während der Testphase Notizen gemacht, auf die sie sich im Nutzertest beziehen konnten. Viele unterstützten diese Erkenntnisse außerdem mit Screenshots, die sie während der Testphase aufgenommen hatten.
Mit Langzeit-Crowd-Usability-Tests testen Nutzer die Usability der App im Auto

Mit den Langzeit-Usability-Tests konnte unser Kunde herausfinden, wie die Nutzer die App im Alltag verwendeten und welche Probleme ihnen beim täglichen Gebrauch auffielen.

Vorteile des Einsatzes von Crowd-Usability-Tests als Langzeitstudien

Folgende Vorteile zeigten sich in diesem Vorgehen:

  • Vielen Testern scheint es leichter zu fallen, über ihre Langzeit-Erfahrungen zu reden, als darüber zu schreiben (wie zum Beispiel in Tagebuchstudien). Sie erzählen detaillierter und können Ihre Probleme besser beschreiben, weil sie das Gefühl haben, dass ihnen jemand zuhört.
  • Beim Usability-Test erklären die Tester ihre Probleme während sie das Produkt nutzen und demonstrieren sie direkt am Produkt. Das ist zum einen verständlicher und nachvollziehbarer und zum anderen fallen ihnen viel mehr konkrete Details ein. Das macht die Interpretation der Ergebnisse deutlich einfacher.

Gerade für Produktmanager von Apps und Websites, die regelmäßig und im Alltag verwendet werden, ist diese Methodik eine gute Alternative zu Tagebuchstudien. Mögliche Anwendungsgebiete könnten sein: Abo-Produkte wie Musik- und Video-Streaming, Kollaborations-Apps, Planungs- und Organisations-Apps, Tracking-Apps sowie Produkte, die häufig verwendet werden, wie z.B. die Bahnauskunft.
Ist diese etwas andere Anwendung von Crowd-Usability-Tests für Sie relevant? Wie würden Sie diese Methodik nutzen?
Bei Fragen zu diesem Thema chatten Sie uns gerne an, schreiben Sie eine E-Mail an info[at]userlutions.com oder rufen Sie an unter 030 544 87 024.

Über den Autor

Benjamin Uebel

Gründer & Geschäftsführer von RapidUsertests

Benjamin Uebel ist Psychologe. Er ist unser Innovator und treibt neue Entwicklungen voran. Er ist Speaker auf Fachtagungen und schreibt Fachartikel u.a. in der Website-Boosting, Webselling, i-Com oder Gründerszene. 2008 hat er das erste deutschsprachige Crowdfunding-Portal gegründet.

Kontaktieren Sie Benjamin