Menschen neigen dazu, von sich auf andere zu schließen. Wir zeigen, wie man bei der Entwicklung neuer Produkte teure Trugschlüsse vermeiden kann.
Kaum ein Unternehmen, das ein neues Produkt auf den Markt bringen möchte, tut dies heute ohne fundierte Marktforschung. Ein essentieller Teilbereich dieser Bedarfsermittlung ist das User Testing. Mit der Beantwortung der folgenden 7 Fragen liefern wir detaillierte Einblicke.
- Was ist User Testing?
- Warum ist User Testing wichtig?
- Wie funktioniert User Testing?
- User Testing und Usability-Tests: Was ist der Unterschied?
- Was ist Remote Testing?
- Wann ist User Testing sinnvoll?
- Was kostet ein User Testing?
User Testing ist gleichermaßen interessant für Design-Teams, Product Owner und Startup-Gründer. Mit anderen Worten: für alle, die anwender- und marktfreundliche Produkte entwickeln wollen.
Was ist User Testing?
Im Zentrum eines User Testings stehen die menschlichen Anwender eines (meist digitalen) Produkts. Während eines Tests lernen sie dieses Produkt bzw. dessen Prototypen kennen. Via Interface treten sie in Interaktion mit den Funktionalitäten einer Website oder App. Und werden dabei beobachtet. Sowohl durch ihr Verhalten als auch durch die von ihnen getroffenen Aussagen bestätigen oder widerlegen sie die zuvor vom UX-Designer-Team getroffenen Annahmen. Die Ergebnisse des User Testings nehmen Einfluss auf die weitere Entwicklung des Produkts.
Warum ist User Testing wichtig?
- Mithilfe von User Testings gelingt es zum Beispiel, Konzepte in einem sehr frühen Stadium zu evaluieren.
- UX-Designer-Teams lernen die Anwender eines Produkts besser kennen und können dadurch potenzielle Probleme bei der Nutzung frühzeitig aufdecken.
- Die Tests tragen nicht nur zur Verbesserung der Kundenzufriedenheit bei, sondern sorgen durch die Vermeidung von Fehlern auch für eine deutliche Kostenersparnis.
- Hinzu kommt eine beträchtliche Zeitersparnis, denn wichtige Insights werden durch die anwenderbasierten Tests deutlich schneller eruiert.
Wie funktioniert User Testing?
Neben der eigentlichen Durchführung eines User Testings sind die Vor- und Nachbereitung von entscheidender Bedeutung. Der gesamte Ablauf gliedert sich in diese 6 Schritte.
Die Vorbereitung:
- Sobald der Prototyp eines Produkts steht, werden erste Annahmen getroffen.
- Diese Annahmen gilt es später in A/B-Tests zu verifizieren oder zu widerlegen.
- Die Hypothesen können auf unterschiedlichen Grundlagen erfolgen, etwa durch Statistiken, User-Researches, Heuristik oder auch der Intuition des durchführenden Teams folgend.
- Für jedes Testing wird ein individuelles Test-Design entworfen, das die Struktur des Ablaufs vorzeichnet und die Verwendung von Formaten und Vorlagen festlegt.
- Letzter Punkt der Vorbereitung ist das Nutzer-Casting. Dazu eignen sich Social-Media-Plattformen (FB, LinkedIn, Xing, Twitter) und Anzeigenportale ebenso wie die Versendung von Einladungen via Newsletter.
- Die Anzahl der Teilnehmer richtet sich nach der Art des Testings. Beim Qualitativen Testing ist es z.B. vollkommen ausreichend, mit 5 Nutzern zu sprechen.
| Quantitatives Testing | Qualitatives Testing | |
|---|---|---|
| Ziel | - Sammeln von Fakten und Zahlen - Gewinnung von statistisch zuverlässigen Daten |
- Entwickeln von Empathie für die Nutzer, ihre Bedürfnisse und Probleme - Erforschen von Narrativen aus echten Kontexten |
| Durchführung | Effiziente Fragebögen o.ä., beantwortet von zahlreichen Nutzern | Offene Fragestellungen in intensiven Unterhaltungen mit wenigen Nutzern |
| Beispiele für Ergebnisse | - 6/10 Nutzern haben das Produkt als nicht zuverlässig bewertet - 47% der Nutzer würden das Produkt (wieder) kaufen |
- Nutzer fühlen sich unsicher bei der Verwendung eines Produkts - Sie mögen das Produkt, sind aber mit dem angeschlossenen Kundenservice sehr unzufrieden |
| Teilnehmer | > 100 Personen | 4-8 Personen |
Die Durchführung:
Im Zentrum des Testings steht der Umgang der Anwender mit dem Produkt – das gilt gleichermaßen für das digitale wie das physische. Verschiedene Tools helfen dabei, diesen Umgang so zu strukturieren, dass eine spätere Auswertung möglichst aussagekräftige und vor allem vergleichbare Ergebnisse liefert. Dazu hier drei Beispiele:
- Card-Sorting (offen/geschlossen):
Dabei werden die Anwender gebeten, Navigationspunkte und Beschriftungen so zu gruppieren, wie es für sie am meisten Sinn ergibt - Paper Prototyping:
Hier fertigt das Design-Team im Vorfeld des Testings manuelle Zeichnungen des digitalen Produkts/Prototypen an. Dieser Low-Fidelity-Ansatz ist besonders hilfreich, wenn sich das Produkt noch im Anfangsstadium befindet und eruiert werden soll, welches Konzept sich für die weitere Entwicklung am besten eignet. - Bildschirm-Recording:
Um jedes Detail einer Nutzer-Interaktion zu sichern, empfiehlt sich ein Screen-Recording-Tool (z.B. Lookback), das sowohl in Real-Time als auch als Aufzeichnung fungiert.
Die Nachbereitung:
Ein entscheidender Faktor für eine erfolgreiche Nachbereitung liegt in der unmittelbaren Auswertung des Anwender-Feedbacks. Die „frischen“ Eindrücke aus dem Testing lassen sich z.B. sehr gut zu User Quotes, also original Zitaten verarbeiten. Die Key Findings – die zentralen Erkenntnisse des Testings – sollten in Actionable Outcomes münden, die wiederum in die Entwicklung neuer Produkt-Features einfließen.
Wichtig: mit den Ergebnissen des Testings nicht warten, sondern alle Stakeholder schnellstmöglich „abholen“ und so einen allgemeinen Konsens und gemeinsam getroffene Entscheidungen möglichst unmittelbar herbeiführen.
User Testing und Usability-Tests: Was ist der Unterschied?
Obwohl es sich bei beiden Formaten um Testings mit Usern handelt, werden sie zur Beantwortung unterschiedlicher Fragestellungen eingesetzt.
Das User Testing mit Fokus auf Desirability beantwortet die grundlegende Frage: Brauchen Anwender meine App bzw. mein Produkt überhaupt? Der Schwerpunkt liegt dabei auf der User Research.
Der richtige Zeitpunkt für ein User Testing mit Fokus auf Usability liegt dann bereits innerhalb des Entwicklungsprozesses eines Produkts. Die Frage lautet hier: Können die Anwender das Interface meiner App bzw. meines Produkts auch bedienen? Der Fokus richtet sich also eher auf die Usability und deren Optimierung. In unserem Artikel Warum ist Usability so wichtig? beschreiben wir Beispiele für solche konkreten Usability Testings.
Was ist Remote Testing?
Das remote durchgeführte, also virtuelle Testing, bei dem die Nutzer von ihrem eigenen Rechner/Endgerät aus teilnehmen, kann aus den unterschiedlichsten Gründen eine praktische oder – siehe Pandemie-Situation – sogar notwendige Alternative zu einem vor Ort durchgeführten Prozess sein.
Während die Abläufe nicht wesentlich vom oben beschriebenen Prozess abweichen, liegt ein wesentlicher Unterschied in der Art der Vermittlung. Hier stellt sich die Frage: Soll das Testing moderiert oder via Tools vom User selbst-moderiert bzw. komplett automatisiert durchgeführt werden? Bei Boana bevorzugen wir ganz klar die von unserem Team moderierten Sessions, mit denen wir die aussagekräftigsten Ergebnisse erzielen.
Das durchführende Team besteht sowohl remote als auch vor Ort idealerweise aus mehreren Personen, denen jeweils konkrete Rollen zugewiesen werden für:
- … die Organisation im Vorfeld und während des Testings,
- … die Moderation des Interviews
- und die Dokumentation der Ergebnisse.
Dabei nutzen die Remote-Testing-Teilnehmer Tools wie Google Meet, Zoom oder Teams, außerdem Features wie Waiting Rooms, Chat-Funktionen oder Aufnahme-Möglichkeiten.
Die Entscheidung darüber, ob Remote Testing machbar ist, hängt nicht zuletzt auch von der Art des Produkts oder logistischen Herausforderungen ab. Hier einige Aspekte pro bzw. kontra Remote Testing:
| Pro Remote Testing | Kontra Remote Testing |
|---|---|
| Testen von einfachen Abläufen, Menüstrukturen, visuellen Design-Varianten und Wordings in User Interfaces | Testen von User Flows mit vielen Medienbrüchen |
| Integration des Devices und der Einstellungen des Nutzers erhöht das Verständnis für die Anwendbarkeit über den Prototypen hinaus | Usability-Tests von Hardware-Neuerungen |
| Teilnehmerschaft ist geographisch weit gestreut, weite Anreisen wären erforderlich | Testen von Prototypen, die in Teilprozessen analog ablaufen (z.B. das Einscannen eines Dokuments) |
| Geringes Budget für den Bereich Testing | Testen von Prototypen, die hoher Geheimhaltung unterliegen |
Wann ist User Testing sinnvoll?
Die frühzeitige Einbeziehung zukünftiger Anwender in den Prozess ist immer ein Gewinn für alle Prozessbeteiligten. Denn das Nutzer-Feedback und die oftmals zusätzlich aufgekommenen Ideen der Anwender können die weitere Entwicklung äußerst positiv beeinflussen. Der ideale Zeitpunkt für ein User Testing ist also gekommen, sobald der erste Prototyp steht und bevor es an die weitere Ausarbeitung geht. Dies schließt keineswegs eine Wiederholung bzw. ein Folge-Testing aus – im Gegenteil. Mit einer iterativen und kundenzentrierten Herangehensweise steigen die Chancen für den Erfolg eines Produkts deutlich.
Was kostet ein User Testing?
Diese Frage beantworten wir mit einem Gedankenspiel: Gesetzt den Fall, ein Unternehmen würde die 6 Schritte des erfolgreichen Testings – Vorbereitung, Durchführung und Nachbereitung – inhouse umsetzen, dann wäre ein Team aus 2 Personen ca. 1,5 bis 2 Wochen voll damit beschäftigt. Eine erheblicher Ressourcen-Einsatz also – hinzu kommt, dass den “Testing-Laien” vieles abverlangt würde, was den erfahrenen Profis deutlich effektiver von der Hand geht.
In unserem Artikel haben wir bereits an vielen Stellen betont, wie wichtig die Business Values sind, die hier geliefert werden. Würde man ohne Testing direkt vom Prototypen in die technische Umsetzung gehen, spart man sich zwar diesen Posten, ohne das Nutzerfeedback ist aber das Risiko hoch, dass nach der Umsetzung Teile oder sogar das ganze Produktkonzept vom Markt abgelehnt wird.
Die Kosten für ein User Testing stehen also im Gegensatz zu den Kosten der gesamten Umsetzung, die dann überarbeit – oder im schlimmsten Fall – komplett neu gemacht werden müsste.
Damit wäre die Frage umgedreht richtig beantwortet: Es kostet viel, kein User Testing zu machen.