Zusammenfassung: Agile Produktentwicklung hat sich inzwischen in den meisten digital arbeitenden Unternehmen etabliert. Oft bleibt dabei jedoch die für den Business-Erfolg so wichtige Nutzerzentrierung auf der Strecke. Wir zeigen, wie du User-Centered-Design und User-Experience-Testing in die agilen Entwicklungsprozesse integrieren kannst. Dabei identifizieren wir Stellschrauben, mit denen UX-Testing „agil-tauglich“ wird und stellen Methoden wie User-Feedback-Days, Crowd-Usability-Tests und Expert-Reviews vor, die ideal in die moderne Produktentwicklung passen.

Scrum oder Kanban… Agile Produktentwicklung ist inzwischen im Alltag der meisten digital arbeitenden Unternehmen angekommen.

Im Gegensatz zum klassischen Wasserfallmodell ist die agile Entwicklung eine flexiblere Form des Projektmanagements. Beim Wasserfallmodell wird das Entwicklungsprojekt zu Beginn in mehrere Phasen unterteilt, die konsequent nacheinander durchgeführt werden, ohne dass nachträglich Anpassungen gemacht werden können. Durch diese Starrheit ist das Risiko groß, nach langer Entwicklungszeit die Business-Ziele zu verfehlen. Agile Entwicklung hingegen plant explizit Iterationen ein, um auf sich verändernde Anforderungen zu reagieren und sich Stück für Stück dem finalen Produkt anzunähern.


Ganz plakativ gesagt: Eine gute Usability und User-Experience führen dazu, dass Anwender ein Produkt gerne nutzen – und sind damit in Zeiten der Digitalisierung DIE wesentlichen Erfolgsfaktoren, um langfristig die gewünschten Geschäftszahlen zu erreichen.

(Falls bei dir im Unternehmen Zweifel am Mehrwert von nutzerzentrierter Entwicklung bestehen, kann es helfen, den Return on Investment zu betrachten.)

In der Praxis sind User-Centered-Design und agile Entwicklungsprozesse jedoch noch wenig verzahnt. Auch wenn das Bewusstsein für User-Experience in den letzten Jahren in den meisten Unternehmen zugenommen hat, scheinen UX-Evaluationen, z. B. in Form von Usability-Tests, selten fest in den Entwicklungsprozess integriert zu sein, sondern werden oft nur ad hoc oder projektbasiert durchgeführt.

Stattdessen geschehen User-Research, die Definition von Personas und die Erstellung von Wireframes häufig VOR dem eigentlichen Entwicklungsprozess, während Testing erst NACH dem Entwicklungsprozess, am fertigen Produkt, vorgenommen wird – hier wird scheinbar noch auf das Wasserfallmodell gesetzt. Dabei ist es durchaus möglich, frühzeitig und regelmäßig die User-Experience eines Produkts zu testen – auch im agilen Entwicklungsprozess.

Warum wird es dann nicht umgesetzt?

Klassische UX-Tests dauern zu lange

Der „klassische“ Usability-Test im Labor kann 8 Wochen oder länger dauern (A Practical Guide to Usability Testing, Joseph S. Dumas, Janice Redish, Intellect Books, 1999), wenn Kickoff, Erstellung des Testkonzepts, Rekrutierung der (manchmal auch sehr speziellen) Zielgruppe, Durchführung der Tests, Erstellung des Reports, Ergebnispräsentation parallel zur Produktentwicklung in house abgewickelt werden müssen. Für die Entwicklung nach Wasserfallmodell war dies in Ordnung.

Ein Sprint im agilen Entwicklungsprozess dauert hingegen meist nur 1, 2, maximal 4 Woche – ist also wesentlich kürzer. Mit agilen Methoden und Continuous Deployment soll ja nicht zuletzt auch die Zeit bis zum Markteintritt gesenkt werden. UX-Testing – so das Vorurteil – behindert dies jedoch und scheint damit wenig vereinbar mit agiler Entwicklung zu sein, statt sie zu unterstützen. Und neben dem Zeitfaktor, spielt natürlich auch das Budget eine Rolle.

Wie lassen sich diese Probleme lösen?

Diese Stellschrauben helfen bei der Integration von UX in agile Prozesse

Die wichtigen Stellschrauben bei der Optimierung der Methoden sind:

  1. Planbarkeit optimieren: Einen Usability-Test spontan aufzusetzen ist schwierig. Schnell scheitert es an freien Räumen, geeigneten Test-Teilnehmern, der Freigabe des Test-Gegenstands oder des notwendigen Budgets. Mit der Planung der agilen Entwicklungs-Roadmap sollte auch frühzeitig eine Testing-Strategie und damit feste Test-Termine definiert werden.
  2. Regelmäßig testen: Der wesentliche Effizienzgewinn bei regelmäßigen UX-Tests liegt darin, dass mehrere Tests aus verschiedenen Abteilungen gebündelt vorbereitet werden können und sich standardisierte Prozesse etablieren können.
  3. Frühzeitig testen: Schnell und frühzeitig Feedback zu erhalten, ermöglicht es den Entwicklern rechtzeitig zu reagieren, wenn der Aufwand für Änderungen noch wesentlich geringer ist. Dazu ist es wichtig, zu hohe Ansprüche an Prototypen herunterzusetzen. Schon einfache Papier-Prototypen können mit der geeigneten Methode erprobt werden und liefern so wichtiges Nutzer-Feedback.
  4. Digitalisieren und automatisieren: Durch die Digitalisierung der Durchführung, Auswertung und Dokumentation kann Zeit gespart werden. So können bei asynchronen Crowd-Usability-Tests Teilnehmer an einem beliebigen Ort und zu beliebiger Zeit teilnehmen, es muss kein Moderator/Protokollant anwesend sein und die Auswertung kann zeitversetzt und zu verschiedenen Fragestellungen erfolgen. Durch Automatisierung können Aufwände noch weiter gesenkt werden, etwa bei der Auswertung von Ergebnissen und der internen Kommunikation.
  5. Ganz wichtig: User-Research & Testing als essentieller Teil der Produktentwicklung: Gute Interfaces sind Team-Arbeit! Ein Scrum-Team besteht beispielsweise aus Scrum-Master, Product-Owner und Entwicklern. Und mit Entwicklern sind hier alle Fachkompetenzen gemeint, die notwendig sind, um ein Produkt zu entwickeln, d. h. auch ein UX-Designer, Usability-Engineer, Interaction-Designer oder wie die Stellenbezeichnung auch immer lauten mag. Alle Team-Mitglieder müssen sich auf den User-Centered-Design-Ansatz und regelmäßiges Testing committen.

Agile Usability-Tests online durchführen und auswerten mit Tools wie RapidUsertests

Mit Hilfe von Online-Tools, wie unseren RapidUsertests können Usability-Tests digital und remote durchgeführt, ausgewertet sowie dokumentiert werden

 

Geeignete Methoden für UX-Evaluation im agilen Umfeld

Es folgt eine Sammlung (ohne Anspruch auf Vollständigkeit oder Hierarchie!) geeigneter Methoden zur Evaluation der User-Experience von Produkten.

User-Feedback-Days

Vorbereitung: Die Teilnehmer werden im Voraus für bestimmte Tage rekrutiert. Idealerweise muss das Setup für die Testsessions (Use-Lab, Livestream etc.) nur einmal vorgenommen werden.

Durchführung: User Feedback Days sind eine verkürzte Variante des klassischen Labor-Usability-Tests, die an einem Tag durchgeführt werden kann.

Auswertung: Das Entwicklungs-Team beobachtet ca. 5 – 8 Test-Sessions live, wertet sie gemeinsam mit einem UX-erfahrenen Moderator bspw. nach KJ-Methode (heißt: viele, viele bunte Post-Its) aus und leitet daraus Optimierungen ab.

Dokumentation: Auf eine Dokumentation kann verzichtet werden, da das Entwicklungs-Team bei den Test-Sessions und dem Analyse-Workshop anwesend war. Optimierungsmaßnahmen können direkt im Workshop ins Backlog übertragen werden. Die Ergebnisse des Workshops können als Gedankenstütze fotografisch dokumentiert werden.

Teilen der Ergebnisse: Die räumlichen und technischen Möglichkeiten vorausgesetzt, können beim User-Feedback-Days weitere Mitarbeiter (Developer, Management) als stille Beobachter den Tests beiwohnen. Dies erleichtert das Teilen der Ergebnisse in der Organisation.

Diversität der Zielgruppe & Realismus: Alle Zielgruppen sind testbar, allerdings sind die Tests auf die Region beschränkt, was besonders in ländlichen Regionen zu Problemen führen kann. Das Testen im Lab mittels eines Testleiters ist ein unnatürliches Testsetting und kann zu verzerrten Ergebnissen führen.

Bei User-Feedback-Days werden Labor-Tests so agil und effizient wie möglich gestaltet.

Bei User-Feedback-Days werden die Teilnehmer für bestimmte Tage rekrutiert. Wenn alle Beteiligten bei den Tests zuschauen, müssen die Ergebnisse nicht aufwändig dokumentiert und präsentiert werden.

 

Guerilla-Test

Vorbereitung: Test-Personen werden nicht nach vorgeschriebenen Kriterien, sondern zufällig an öffentlichen Orten rekrutiert.

Durchführung: Guerilla-Tests finden im Gegensatz zum klassischen Labor-Usability-Test nicht im Use-Lab statt, sondern an öffentlichen Orten (beispielsweise in einem Café oder am Bahnhof) – mit zufällig rekrutierten Personen.

Auswertung: Die Sessions werden idealerweise aufgezeichnet. Während der Durchführung liegt der Fokus häufig auf dem Finden geeigneter Test-Teilnehmer, so dass die Videos später zur Auswertung vom UX-Experten noch einmal angeschaut werden müssen.

Dokumentation: Eine Dokumentation der Ergebnisse ist notwendig, da das Entwicklungs-Team beim Guerilla-Testing nicht anwesend sein kann.

Diversität der Zielgruppe & Realismus: Durch die spontane Rekrutierung ist es unwahrscheinlich, dass man die richtige Zielgruppe testet. Dies kann zu verzerrten Ergebnissen führen.

Guerilla-Tests sind zwar sehr agil, aber nicht zwingend valide, da sie auf der Straße mit zufällig ausgewählten Passanten stattfinden.

Guerilla-Tests müssen zwar nicht lange vorbereitet werden, eignen sich nur für grobe Usability-Tests mit breiten Zielgruppen. Sie liefern keine validen Ergebnisse, da nicht garantiert werden kann, die passende Zielgruppe zu finden.

 

Crowd-Usability-Tests

Vorbereitung: Beim Einsatz von Crowd-Usability-Test-Tools entstehen keine Aufwände für technisches Setup etc. Viele Tools (z.B. RapidUsertests.com oder Usertesting.com) haben ein eigenes Panel, so dass praktisch kein Aufwand für Rekrutierung entsteht. Lediglich das Testkonzept muss definiert werden.

Durchführung: Im Gegensatz zu einem klassischen Labor-Usability-Test erhält man mit asynchronen Crowd-Usability-Tests innerhalb von Stunden oder wenigen Tagen Feedback einer breiten Zielgruppe.

Auswertung: Die Auswertung der Ergebnisse (meist in Videoform) und die Analyse des qualitativen Feedbacks von Crowd-Usability-Tests können recht zeitintensiv sein.

  • Benchmarking: Mit Hilfe von quantitativen Metriken (Task Success Rate, Task Duration, SUS etc.) kann die Auswertung vereinfacht werden und bei regelmäßiger Durchführung vor allem der Erfolg von UX-Optimierungen gemessen werden.
  • 3-Minuten-Test: Sehr kurze (3 – 5 Minuten lange), unmoderierte Crowd-Usability-Tests bieten die Möglichkeiten in wenigen Stunden Nutzerfeedback einzuholen und dieses auf Grund der reduzierten Dauer der Videos in Minuten auswerten zu können. Mehr zu 3-Minuten-Tests erfahren.

Dokumentation: Ein kurzer Report ist notwendig, wenn das Entwicklungs-Team nicht alle Videos schaut und direkt gemeinsam auswertet.

  • Benchmarking: Qualitative Ergebnisse erfordern eine ausführlichere Dokumentation als Grundlage für Optimierungsmaßnahmen, während quantitative Ergebnisse eher der Evaluation bereits getätigter Maßnahmen dienen.
  • 3-Minuten-Tests: Die am höchsten priorisierten Optimierungspotenziale können samt Video-Snippets mit dem Entwicklungs-Team geteilt werden, um gemeinsam konkrete Optimierungen abzuleiten. Mehr zu 3-Minuten-Tests erfahren.

 Teilen der Ergebnisse: Die Testergebnisse liegen als Videos in der Cloud vor und können online zu Highlightvideos zusammengeschnitten werden. Diese Videos können per Link in der Organisation und in internen Dokumenten geteilt werden.

Diversität der Zielgruppe & Realismus: Die Panels der Anbieter ermöglichen das Testen spezifischer Zielgruppen. Durch das Testen zu Hause auf den persönlichen Devices wird eine hohe Realitätsnähe des Tests erzielt.

Crowd-Usability-Tests sind die agilste Art, UX-Tests in die Produktentwicklung zu integrieren.

Crowd-Usability-Tests sind nicht aufwändig in der Umsetzung, können kollaborativ ausgewertet werden und die Ergebnisse können unkompliziert mit Stakeholdern geteilt werden.

 

Experten-Reviews

Vorbereitung: Das Review wird von UX-Experten erstellt. Es werden keine Nutzer rekrutiert. Ein kurzes Briefing der UX-Experten zu Zielgruppen des Produkts und Fokus des Reviews ist jedoch notwendig.

Durchführung /Auswertung: UX-Experten bewerten ein Interface nach verschiedenen Verfahren (Cognitive Walkthrough und heuristische Evaluation). Dies ist i. d. R. an einem Tag durchführbar. Kleiner Tipp: Um Betriebsblindheit vorzubeugen, sollte das Review nicht vom UX‘ler im eigenen Team vorgenommen werden, sondern besser von einem externen UX-Experten, bspw. aus einem anderen Team deines Unternehmens oder von UX-Agenturen.

Dokumentation: Es bietet sich an, die Ergebnisse in einem Excel-Dokument festzuhalten und zu priorisieren und anschließend gemeinsam mit dem Entwicklungs-Team in einem kurzen Workshop die wichtigsten Optimierungspotenziale zu besprechen und gemeinsam konkrete Optimierungen abzuleiten.

Experten-Reviews können zwar agil durchgeführt werden, sind aber nur in wenigen Fällen die am besten geeignetste UX-Methode.

Experten-Reviews können bei schwer rekrutierbaren Zielgruppen eine gute Alternative zu Tests mit Nutzern sein. Aber Vorsicht: Es droht Betriebsblindheit, wenn sie von Mitgliedern des eigenen Teams durchgeführt werden.


Eine übersichtliche Zusammenfassung aller Methoden, inkl. Aufwandsbewertungen kannst du dir hier herunterladen:

Datenschutzerklärung

Fazit: Optimierte Zeitplanung und Methodenanpassung sind der Schlüssel zum Erfolg

Agile Entwicklung und User-Centered-Design sind vereinbar. Es braucht keine neuen UX-Methoden, sondern bestehende müssen angepasst werden. Die wichtigste Stellenschraube ist dabei die Optimierung der Zeitaufwände.

  • Hol dir UX-Expertise ins Team und definiere mit der Produkt-Roadmap auch eine Testing-Strategie.
  • Teste möglichst frühzeitig, schon in frühen Entwicklungsstadien, sogar wenn du gerade erst einen Papier-Prototypen vorliegen hast.
  • Teste lieber regelmäßig mit kleinen Stichproben einzelne Features deines Produkts statt bis zur Fertigstellung zu warten, um dem finanzieller und zeitlicher Fehlinvestition vorzubeugen.

Beteilige dein Team an der UX-Evaluation statt aufwendige Reports/Dokumentationen zu erstellen. Dies stärkt das Verständnis deines Teams für die Nutzer deines Produkts und das Commitment für UX im Allgemeinen.

Über den Autor

Claudia Heinze

Senior UX-Specialist

Claudia begleitet unsere Kunden seit 2014 in allen Phasen des Human-Centered-Design-Prozesses von der Projektplanung bis zum finalen Design. Sie hat bereits über 60 unserer Kunden aus Bereichen wie Industrie, B2B-Software und E-Commerce bei der UX-Optimierung unterstützt, darunter BMW, BOSCH, SIEMENS und Melitta.

Kontaktieren Sie Claudia