Die System Usability Scale – Wie man Usability und UX messen kann
Stand bis vor einigen Jahren noch das System selbst im Mittelpunkt der Entwicklung, ist es nun der:die Kund:in bzw. der:die Nutzer:in. Das System wird nach den Bedürfnissen des Kunden entwickelt, um die Akzeptanz zu erhöhen. Aber wie kann man Usability und UX messen?
Was ist UX und warum ist sie schwer zu messen?
Die User Experience (UX) spielt in der Entwicklung von Systemen eine zentrale Rolle, wird aber oft fälschlicherweise mit Begriffen wie User Interface oder Usability gleichgesetzt. Um ein gemeinsames Verständnis für den Begriff User Experience zu schaffen, orientieren wir uns an der zugehörigen DIN-Norm, die zusammengefasst besagt:
“UX ist die Wahrnehmung und Reaktion einer Person vor, während oder nach der Benutzung eines Produkts, Systems oder Services.” (nach DIN EN ISO 9241)
Dazu gehören die Emotionen, die psychologischen und physiologischen Reaktionen, die Erwartungen und das Verhalten der Nutzer:in. User Experience wird als eine Konsequenz aufgefasst, beeinflusst von Gestaltung, Funktionalität und Leistungsmerkmalen eines Produkts. Ebenso können auch Vorkenntnisse und Eigenschaften der jeweiligen Nutzer:in eine Rolle spielen sowie die Markenwahrnehmung oder der Kontext der Nutzung.
Die Definition macht bereits deutlich, dass die UX weitaus schwieriger zu messen ist als Kenngrößen wie Stückzahlen oder Durchlaufzeiten. Ist es möglich solch ein abstraktes Konzept messbar zu machen? Die Antwort darauf lautet ja. Mithilfe von Methoden aus der Softwareevaluation (UX-Evaluation) können die Benutzerfreundlichkeit und Anwendungslogik eines Systems bewertet und gemessen werden.
Darum ist es wichtig UX zu messen
Die Entwicklung von Systemen hat sich in den letzten Jahren verändert. Stand bis vor einigen Jahren noch das System selbst im Mittelpunkt der Entwicklung, ist es nun der:die Kund:in bzw. der:die Nutzer:in. Das System wird nach den Bedürfnissen des Kunden entwickelt, um damit die Kauf- oder Anwendungsbereitschaft zu erhöhen, ihn optimal in seinen Prozessen zu unterstützen und in seiner Arbeit weiterzuentwickeln. In diesem Zusammenhang stellt sich die Frage, ob die Benutzerfreundlichkeit und -relevanz sowie die Wirksamkeit von Maßnahmen zur Erhöhung dieser gemessen werden kann. Mithilfe einer Softwareevaluation werden Verbesserungsmöglichkeiten im System erkannt. Dadurch nehmen Supportbedarfe ab und die Datenqualität steigt. Dies führt wiederum zu einer steigenden Kunden- und Mitarbeiterzufriedenheit.
Ein kurzer Überblick zu den Erhebungsmethoden
Zur Erhebung von Nutzerfeedback gibt es verschiedene Methoden. Dabei wird primär zwischen zwei Methodenarten unterschieden: Messungen und Befragungen.
Im Rahmen der Messungen werden Kennzahlen zur UX direkt durch das System erhoben. Der Kontakt zum Probanden ist zur Erhebung nicht zwingend notwendig. Bei der Task Success Rate handelt es sich um eine so erhobene Kennzahl: Es wird gemessen, wie oft eine Aufgabe erfolgreich durchgeführt wurde und ins Verhältnis zu allen Versuchen gesetzt. Die Zeit, die durchschnittlich für eine Aufgabe benötigt wird, die Task Completion Time, kann ebenfalls durch das System erhoben werden. Ein weiteres bekanntes Beispiel für eine durch Messung erhobene Kennzahl ist die Conversion Rate. Also der Anteil an Nutzer:innen des Systems, die eine bestimmte Aktion durchführen, zum Beispiel welcher Anteil der Besucher einer Website eine Nutzerkonto anlegt.
Bei den Befragungen werden den Nutzer:innen standardisierte Fragen oder Fragebögen vorgelegt, um aus den Ergebnissen Kennzahlen zu ermitteln. Ein einfaches Beispiel dafür ist die Single Ease Question: Direkt nach dem Abschließen einer Aufgabe wird der Proband gebeten auf einer Likert-Skala von 1 bis 7 die Frage „Wie leicht war das?“ zu bewerten. Weitere Beispiele sind der Net Promoter Score („Wie wahrscheinlich ist es, dass Sie dieses System/diese Anwendung Freunden oder Bekannten weiterempfehlen?“) und der Customer Effort Score, bei dem der Aufwand auf der Nutzerseite bei der Verwendung eines Systems abgefragt wird.
Befragungen sind etwas aufwändiger zu erheben, da sie stark vom Engagement des Benutzer:in abhängen. Allerdings lassen sich in deren Rahmen auch qualitative Anschlussfragen zur Systemanalyse integrieren, um die gewonnen Ergebnisse in den richtigen Kontext setzen und interpretieren zu können. Diese Maßnahme ist auch bei Messungen notwendig, um das System nutzerzentriert verbessern zu können.
Unser Tipp, um mit dem Messen von UX loszulegen: Die SUS.
Quantifizierung auf Basis wissenschaftlicher Erkenntnisse
Eine klassische Methode, um den Standort eines Systems in Bezug auf die User Experience zu erheben ist die System Usability Scale (SUS). Auch wenn die SUS nicht die gesamte UX betrachtet, sondern sich nur auf den Teilaspekt Usability beschränkt, zeichnet sich diese Metrik vor allem durch zwei Aspekte zur Bewertung eines Systems aus: Sie ist simpel und vielfach praxiserprobt.
Dieser standardisierte Fragebogen aus dem Jahr 1986 von John Brooke ist technologieunabhängig und erlaubt die Bewertung der subjektiv wahrgenommenen „Gebrauchstauglichkeit“ eines Systems. Anders als man meinen könnte, ist die SUS trotz ihres Alters immer noch eine der meist eingesetzten Metriken zur Erfassung der Usability. Die Einfachheit der SUS zeichnet sich durch die wissenschaftlich ausgewählten und festgelegten Fragen aus, die ein unverzerrtes Ergebnis ermöglichen, sowie die schnelle Anwendbarkeit unabhängig von der Stichprobengröße.
Die SUS umfasst zehn Fragen, die abwechselnd positiv und negativ formuliert sind:
Die Auswertung der SUS erfolgt mithilfe der Likert-Skala und einer Punkte-Bewertung (siehe Abbildung). Die Werte der Skala werden addiert und mit 2,5 multipliziert. In unserem Beispiel ergibt das folgende Rechnung:
(4+0+0+3+2+2+2+2+2+2) * 2,5 = 47,5.
Es können maximal 100 Punkte erreicht werden. Ab einer Punktzahl von 68 spricht man von einem guten Ergebnis. Diese Einstufung ist das Resultat der Auswertung von über 500 Studien in denen die SUS mit insgesamt über 5000 Nutzer:innen durchgeführt wurde. Je nachdem wo ihr System landet, zeigt die SUS wie zufrieden die Nutzer:innen mit dem System sind oder ob Maßnahmen zur Verbesserung der „Gebrauchstauglichkeit“ eingeleitet werden sollten. Zu beachten gilt, dass mithilfe der SUS schnell festzustellen ist, ob es Probleme bei der Nutzung eines Systems gibt. Allerdings kann keine direkte Aussage getroffen werden welche Probleme das sind. Dies ist im ersten Moment entweder nur über zusätzliches und freiwilliges Userfeedback möglich oder über weitere anschließende Maßnahmen.
Wer nicht misst, macht Mist
In der modernen Welt, in der die Systeme immer komplexer werden, die Nutzer:innen anspruchsvoller und die Anforderungen generell steigen, wäre es nahezu unverantwortlich die Entwicklung von Software und Systemen rein nach Bauchgefühl zu gestalten. Es bedarf verlässlicher Zahlen, Fakten und Bewertungen, um fundierte Entscheidungen treffen zu können. In diesem Artikel haben wir Ihnen einige Methoden vorgestellt, um selbst eine solche Entscheidungsgrundlage aufbauen zu können.
Generell raten wir davon ab, eigens erstellte Befragungen durchzuführen. Wir empfehlen die Nutzung von bestehenden und erprobten Metriken, um die Meinung der Befragten nicht unbewusst (ggf. negativ) zu beeinflussen. Allein die Reihenfolge der Fragen „Wie zufrieden bist du mit dem Gesamtsystem?“ und „Wie zufrieden bis du mit dem Feature X aus dem Gesamtsystem?“ beeinflusst das Ergebnis signifikant: Wer beispielsweise zuerst das Gesamtsystem in höchsten Tönen lobt wird danach zurückhaltender mit Kritik an Teilaspekten sein. Hier wird die Komplexität der Anwendung von Methoden, wie man UX messen kann, deutlich.
Wir unterstützen Sie sehr gern von der Definition der Aufgabenstellung, über die Vorbereitung, Durchführung und Auswertung einer SUS-Erhebung bis hin zur Identifizierung von Verbesserungspotentialen und gezielten Maßnahmenableitung. Unser Ziel ist die beste User Experience für Ihre Nutzer:innen!
