Im täglichen Kundenkontakt und bei Workshops ergeben sich häufig allgemeine Fragen zu Methodik und Projektplanung von Usability-Maßnahmen. Einige davon werden in dieser Sammlung beantwortet.
Weiter können Sie die detaillierte Beschreibung der einzelnen Testmethoden zur Beantwortung Ihrer Fragen heranziehen.
Sollten Sie dennoch auf eine Frage keine Antwort finden, wenden Sie sich gerne an einen unserer Ansprechpartner.
Worauf stützen wir unsere Aussagen?
Unser methodischer Schwerpunkt ist es, Nutzer zu interviewen, ihnen Aufgaben zu stellen und sie bei deren Lösung zu beobachten. Aus der Summe unserer Beobachtungen fügen wir wie in einem Puzzle-Spiel ein Bild der Interaktionen zusammen. Diese Analyse geschieht vor dem Hintergrund etablierter Usability-Regeln (so genannten Heuristiken) und der Erfahrung mit ähnlichen Systemen.
Wir verlassen uns nur in Ausnahmefällen auf reine Befragungs-Daten, denn viele Testpersonen können ihre Intuition nur schwer verbalisieren. Außerdem geben mehr als die Hälfte der Testpersonen ihre Nutzungsprobleme ungern zu, gerade Männer fallen diesbezüglich auf. Indem wir Nutzer direkt beobachten und sie nicht einfach nur befragen, erhalten wir wertvolle Daten, die auf keinem anderen Weg zu erheben sind.
Woher kommen die Testpersonen?
SirValUse rekrutiert Testpersonen in Zusammenarbeit mit spezialisierten Callcentern und Rekrutierungsagenturen. Dadurch können wir sowohl in sehr großen Tests (z.B. 250 Internet-repräsentativ ausgewählte Web-Nutzer) als auch bei kleinen Tests mit sehr speziellen Zielgruppen (z.B. Autofahrer und Internet-Nutzer mit bestimmter Markenaffinität, Kaufabsicht usw.) genau die richtigen Testpersonen heranziehen.
Wie viele Testpersonen sind genug?
Geht es um einen Usability-Test für eine homogene Zielgruppe, so lassen sich schon mit 10 bis 12 Testpersonen ein Großteil der Probleme aufdecken. Ist im Vorfeld bekannt, dass die Nutzergruppe aus zwei klar trennbaren Untergruppen besteht, so sollten nicht weniger als 16 Testpersonen (mind. 8 je Zielgruppe) hinzugezogen werden, um zielgruppenspezifische Unterschiede erkennen zu können. Geht es schwerpunktmäßig um die Wahrnehmung der Marke und um Nutzerurteile zur Gestaltung, so empfehlen wir mind. 20 Testpersonen zu befragen. Für extreme Anforderungen, z.B. wenn eine Vielzahl von Diensten für eine Vielzahl von Zielgruppen gleichzeitig getestet werden soll, kann es auch sinnvoll sein, bis zu 200 Testpersonen zu untersuchen.
Bei der Auswahl von Gruppen für einen Test sollte im Vordergrund stehen, welche unterschiedlichen Nutzungsszenarien Ihres Produktes Sie erwarten - weniger, welche Marktsegmente Sie mit Ihrem Produkt ansprechen.
Kann aus Budget- oder Zeitknappheit nur eine kleine Studie durchgeführt werden, so ist auch ein kleiner Test mit 5 bis 10 Testpersonen immer noch besser als keiner. Zwar wird in diesem Fall nur ein Teil aller Unstimmigkeiten aufgedeckt. Dennoch ist es sehr wahrscheinlich, dass eventuelle große Hindernisse schon hier erkennbar werden.
Warum testen Sie nicht mit mehr Testpersonen?
Wir raten unseren Kunden meist, mit weniger Testpersonen, dafür aber häufiger im Entwicklungsprozess zu testen. Der Grund: Werden die größten Probleme bald nach dem ersten Test behoben, findet die zweite Testpersonengruppe ganz andere Haken und Ösen, sie stolpert nicht mehr über die schon behobenen Fehler. Findet der erste Test ganz am Anfang der Produktentwicklung statt, erspart man sich so teure Fehlentwicklungen.
Unserer Beobachtung nach fällt ab 10 bis 12 Testpersonen pro Zielgruppe die Wahrscheinlichkeit, schwerwiegende Interface-Unstimmigkeiten aufzudecken. Daher ist es nicht mehr kosteneffizient, weitere Sessions durchzuführen - es sei denn, Sie haben den Wunsch, eine absolut erschöpfende Liste auch selten auftretender Probleme zu erstellen. Wenn es um die Kernfunktionalität Ihres Angebotes geht (z.B. die Shopping-Cart-Implementation auf einer B2C eCommerce-Plattform) oder Sicherheits-Aspekte eine Rolle spielen (z.B. in der Medizintechnik) ist somit eine größere Testpersonengruppe notwendig.
Sind die Ergebnisse repräsentativ?
Die Methode, eine kleinere Zahl von Testpersonen strukturiert zu beobachten, wird häufig als unscharf angesehen. Die erhobenen Daten seien nicht aussagekräftig, nicht "hart" genug. Wir verstehen diese Skepsis, sie beruht jedoch auf einem Missverständnis. User Experience-Testing hat nicht primär den Anspruch, vorherzusagen, wie häufig bestimmte Probleme in der Gesamtnutzerschaft genau auftreten werden. Vielmehr sind wir Spezialisten dafür, unseren Testpersonen die richtigen Aufgaben zu stellen und sie so genau zu beobachten, dass eine möglichst erschöpfende Liste an Problemen aufgedeckt wird. Zu diesen Problemlisten erhalten Sie dann konkrete Verbesserungsvorschläge von uns.
Um zusammen mit unseren Kunden Produkte nützlich, gebrauchstauglich und erfreulich für die Nutzer zu gestalten, braucht es nur in Ausnahmefällen quantifizierte Problem-Eintrittswahrscheinlichkeiten. Unsere tiefgehende Analyse des Nutzer-Verhaltens ist in der Lage, Optimierungspotenziale schnell und effizient aufzuzeigen. Selbstverständlich beraten wir Sie ebenfalls gerne, sollten Sie einen standardisierten, quantifizierenden Usability-Test benötigen.
Unsere Marketingabteilung kennt unsere Nutzer genau. Wozu brauchen wir dann Usability-Untersuchungen?
Das Wissen von Marketing-Abteilungen bezieht sich unter anderem auf die Einteilung der Nutzerschaft in bestimmte Kundentypen, demografische Segmente und geografische Regionen. Solche Angaben sind sehr nützlich für die Rekrutierung in Nutzertests. Jedoch ersetzt das Wissen über "Typen" und Nutzergruppen nicht die Analyse der Interaktion von Einzelpersonen mit einem spezifischen Interface. Wir tragen durch unsere Expertise in diesem Spezialbereich zum Erfolg Ihres Produktes bei.
Kann man nicht genauso gut Fokusgruppen abhalten?
In der Marktforschung werden Produkte häufig in Fokus- oder Diskussionsgruppen getestet. Fokusgruppen haben ihre Stärken, wenn das Thema kontrovers und das genutzte Produkt für jeden der Teilnehmer bekannt und relevant ist. Die Vielzahl an Äußerungen in der Gruppensituation kann interessante Rückschlüsse auf Motivationen und Nutzermeinungen liefern. Fokusgruppenteilnehmer sind jedoch häufig überfordert damit, komplexe Software-Produkte zu bewerten, die sie nicht oder kaum kennen. Es fällt ihnen auch häufig schwer abzuschätzen, wie relevant ein vorgestellter Service für sie sein wird.
Bei Usability-Beobachtungen geht es außerdem häufig um Details, z.B. wie ein bestimmter Nutzer eine bestimmte Eigenschaft eines bestimmten Dienstes (miss)versteht. Wir favorisieren Einzel-Interviews, da die erhobenen Daten vielfältiger und durch die Verhaltensbeobachtung detailgenauer sind. Der Interviewer hat mehr Kontrolle über den Ablauf, und die Aussagen der Testperson sind nicht beeinflusst durch eine Gruppensituation, in der einige Meinungsführer die Zurückhaltenden dominieren.
Was ist eigentlich "Lautes Denken"?
"Lautes Denken" ist eine Methode, bei der die Testperson ihre Gedanken ungefiltert ausspricht, während sie ein System benutzt. Mit einer kleinen Einführung durch den Testleiter und einer kurzen Eingewöhnungszeit gelingt es den meisten Testpersonen, kontinuierliches Feedback zu geben, ohne dass sie in ihren Interaktionen gebremst werden. Für Beobachter und Interviewer ist dieser Gedankenstrom wichtig, um besser einschätzen zu können, wie die Testperson das System wahrnimmt bzw. beurteilt und wie sie emotional darauf reagiert.
Ich habe kein großes Budget für Tests. Wo kann ich Geld sparen?
Gerade bei einem geringen Budget empfehlen wir, früh im Entwicklungsprozess anzusetzen. Ein Test hat die größte Hebelwirkung, wenn er früh beginnt - noch bevor die Beteiligten viel Zeit und Geld in das Produkt investiert haben.
Es ist auch sinnvoll, den Betrag für Nutzertests aufzuteilen: Besser zwei kleine mit einem zwischengeschalteten Re-Design, als ein großer Test. Auf diese Weise kann sehr effizient Feedback gesammelt werden.
Die günstigste Methode ist, ein Expertengutachten anzufordern. Zwar bekommen Sie kein direktes Nutzerfeedback, aber Sie profitieren von unserer umfassenden Erfahrung und erhalten schnell und kompakt Empfehlungen zur Optimierung Ihres Produktes.
Warum der Aufwand? Reicht nicht eine Befragung?
Viele Menschen scheuen sich, einem Anderen gegenüber zuzugeben, dass sie ein Problem haben. Viele beschönigen ihre Fähigkeiten, um nicht dumm dazustehen, viele können ihre Intuition nicht gut verbalisieren. Bei Usability-Tests sind aber gerade die Schwierigkeiten interessant, denn sie tragen den Hinweis auf Optimierungspotenziale eines Systems in sich. Wir schätzen vor dem Hintergrund umfangreicher Methodentests, dass mehr als 50 Prozent der Testpersonen ihr eigenes Können überschätzen; gerade Männer neigen dazu. Daher legen wir das Schwergewicht methodisch auf die Beobachtung. Wir schauen, was die Testpersonen (nicht) tun und schließen darauf, was das über das Produkt aussagt.
Nur wenn eine Selbstauskunft die einzige Möglichkeit ist, an die gewünschten Daten zu gelangen, greifen wir auf die Methode der Befragung zurück, z.B. bei großen Online-Befragungen, Fragen zur Zufriedenheit mit einem Angebot oder dem wahrgenommenem Image.
Wann ist der beste Zeitpunkt für einen Usability-Test?
Sammeln Sie möglichst früh Nutzer-Feedback, und vermeiden Sie damit teure Fehlentwicklungen. Ist das Konzept für Ihre Zielgruppen verständlich und leuchtet Ihnen die Terminologie und Informationsarchitektur des Produktes ein (diese Punkte könnten Thema eines frühen Tests sein, zum Beispiel mit Papier-Prototypen und Kartensortierungs-Techniken), so haben Sie für die weitere Entwicklung Sicherheit gewonnen. Testen Sie jedoch ein vollständig implementiertes System, so können viele grundlegende Strukturen nicht mehr geändert werden, selbst wenn diese kritisch für die Akzeptanz des Systems sind.
Wir empfehlen außerdem, lieber häufig mit mehreren kleinen Testpersonengruppen zu testen, anstatt nur einmal mit vielen Probanden. Auf diese Weise erhalten Sie die Möglichkeit, mehrmals zu verschiedenen Versionen Feedback zu erhalten. Damit schreitet die Verfeinerung des Systems schneller voran, das Preis-/ Leistungsverhältnis eines solchen Testplans ist damit optimiert.
Wie lange dauert ein Usability-Test?
Vom Briefing bis zum Start des Tests vergehen je nach Vorbereitungsaufwand mindestens fünf Arbeitstage (exklusive Rekrutierung; ein Sample von 16 Testpersonen sollte spätestens sieben Arbeitstage vor Testbeginn in die Rekrutierung gehen). Die Feldphase eines Tests mit 16 Personen dauert bei einem vollständigen Usability-Test einer funktionalen Website mit einigen Dutzend Seiten ca. vier Arbeitstage. Eine einzelne Test-Sitzung nimmt in der Regel ca. 90 Minuten in Anspruch. Die Analyse der Daten und das Verfassen des Berichtes noch einmal ca. sechs bis acht Arbeitstage. Zusätzliche Analysen wie ein Expertengutachten oder aufwändige Videoschnittarbeiten können zusätzlich einige Arbeitstage in Anspruch nehmen. Damit ist ein Usability-Test-Projekt geringer Komplexität nach ca. drei bis vier Wochen präsentationsfähig.
Haben Sie ein eigenes Test-Labor?
SirValUse unterhält insgesamt zehn vollständig ausgestattete Usability-Test-Labore, so genannte Labs, in Hamburg (5), München (2), Frankfurt/Main (1) und Peking (2). Dabei ist es für Sie möglich, die Sessions aus einem Kundenraum durch den Einwegspiegel und auf Monitoren zu beobachten. Wir empfehlen, dass Projektbeteiligte möglichst viele Sessions vor Ort mit ansehen. Wir wissen von unseren Kunden, dass diese unmittelbare Erfahrung lehrreich und sehr spannend ist.
Weiterhin verfügt SirValUse über mobile Lab-Technik, die es uns erlaubt, nach Bedarf auch an anderen Orten und in anderen Städten zu testen.
Nicht selbstverständlich ist auch unsere Kamera-Technik: Wenn Sie z.B. einen mobilen Dienst testen möchten, so können wir Displays aller Art abfilmen, ohne dass die Testpersonen Schwierigkeiten im Handling des Handys, Smartphones oder PDAs in Kauf nehmen müssen.
Meine Designer sind sehr erfahren. Warum sollte ich zusätzlich eine Usability-Agentur hinzuziehen? Ist das nicht doppelter Aufwand?
Unserer Erfahrung nach gibt es viele Design-Teams, die Systeme formal gut gestalten. Wir machen ihnen diese Kompetenz nicht streitig. Unsere ist es hingegen, Effektivität, Effizienz und Nutzungszufriedenheit zu steigern. Dazu werfen wir Expertise in die Waagschale, die im Allgemeinen nicht zum Handwerkszeug von Screendesignern und Art Direktoren gehört: Nutzer strukturiert zu beobachten und diese Beobachtungen als Ganzes vor dem Hintergrund arbeitspsychologischer Grundlagen zu analysieren. Es führt in die Irre, einen Gegensatz zwischen Design und Usability aufzubauen: Erfolgreiche Interfaces machen sich das Wissen beider Blickwinkel auf den Themenkomplex zu Nutze. Wir sind es gewohnt, diesen Dialog zu führen.
Wir sind selbst die besten Experten für unser Produkt. Warum sollen wir jemand Externes hinzuziehen?
Sicherlich sind Sie bestens mit ihrem Produkt vertraut, daher legen wir auch Wert auf ein ausführliches Briefing zu Beginn der Studie. Wer jedoch viel Initiative, Zeit und Geld in ein Produkt investiert, verliert seine Unbefangenheit - er identifiziert sich mit dem System. Als externe Berater können wir vor dem Hintergrund unserer umfangreichen Erfahrung mit User Interfaces neue Blickwinkel eröffnen und Vorschläge generieren. In unserem Urteil sind wir dabei nicht den Präferenzen des Entwicklungsteams verpflichtet, sondern agieren als "Anwalt der Nutzer" - mit dieser Haltung können wir dazu beitragen, auch festgefahrene Entwicklungsprozesse aufgrund empirischer Daten wieder in Schwung zu bringen.
Wenn alles nur auf Effizienz getrimmt wird, geht dann nicht unser Marken-Image verloren?
Es ist vorstellbar, Systeme ausschließlich auf Effizienz hin zu optimieren, z.B. wenn Menschen wiederkehrende Tätigkeiten in hoher Frequenz ausführen müssen, wie etwa bei der professionellen Datenerfassung.
Eine gute User Experience wird jedoch neben hoher Effizienz (Schaffen die Nutzer viel in einer kurzen Zeit?) auch durch Effektivität (Erreichen die Nutzer ihr Ziel?) und Zufriedenheit gewährleistet. Dabei legen wir Wert auf den emotionalen Aspekt von Interaktionen, gemäß der These von Donald Norman "Attractive Things Work Better": Produkte, die für entspannende, angenehme Gelegenheiten gestaltet werden, erhöhen ihre Usability durch angenehmes, ästhetisches Design.
Unsere Untersuchungsgegenstände fügen sich häufig in eine Produktfamilie ein und gehören zu einem Markenauftritt, der auch in Print- und Rundfunkmedien kommuniziert wird. Wir legen daher Wert darauf, auch die Wahrnehmung von Markenwerten mit zu erheben. Ist Branding ein Thema in Ihrem System, so werden die Prioritäten schon im Briefing-Gespräch geklärt, damit wir maßgeschneiderte Empfehlungen erstellen können.
