Richtig testen: So sagen Ihnen Ihre Kunden, was Sie verbessern können

Zwei praktische Testmethoden

Die Wissenschaft kennt viele Testverfahren, wir wollen uns hier auf zwei grundsätzliche Ansätze konzentrieren – so, wie Sie sie in der Praxis leicht anwenden können:

• A/B-Testing
• Interviews

Für den kleinen Unterschied: Der A/B Test

Im Gegensatz zum multivariaten Test wird beim A/B-Test lediglich eine Variable verändert. Typische Anwendungsfälle sind kurze Werbetexte, Button-Beschriftungen oder Seitenüberschriften. Beim A/B-Test wird der Gruppe A eine andere Variante des zu testenden Objekts gezeigt als der Gruppe B. Optimaler Weise erfolgt dieser Test zeitgleich, also mehr oder weniger parallel.

Das Klickverhalten beider Gruppen wird ausgewertet. Die Testgruppen sind hierbei nicht repräsentativ, sondern nach dem Zufallsprinzip ausgewählt und als Stichprobe zu verstehen. Da sich Websites und ihre Besucher rasch verändern (denken Sie nur an leicht veränderte Adwords-Kampagnen, die sofort veränderte Besucherstrukturen erzeugen), sollte der Test so kurz wie möglich sein, damit die Testergebnisse von so wenig anderen Veränderungen wie möglich beeinflusst werden.

Allerdings muss auch eine relevante Teilnehmerzahl erreicht werden. Ungefähr 10% der monatlichen Shop-Besucher sollten je Testgruppe mitmachen und bei weniger als 50 Personen je Gruppe können Sie keine relevanten Ergebnisse mehr erwarten.

A/B-Tests werden „live“ gefahren, also im echten Shop-Betrieb (oder Anzeigen-System). Daher sollten Sie gut überlegen, ob Sie Ihren Kunden die zu testenden Varianten wirklich zeigen möchten, denn Sie riskieren Ihr Image – im Zweifel auch Ihren Umsatz, denn die Benutzer ahnen ja nicht, dass Sie gerade einen Test durchführen.

Eine Erweiterung ist der A/n-Test, denn Sie können auch mehrere Varianten (n) gegen eine bestehende Ausprägung (A) testen. Bedenken Sie aber, dass Sie wirklich nur ein Kriterium verändern, also zum Beispiel nicht gleichzeitig Farbe, Größe und Inhalt einer Überschrift abwandeln.

Für größere Veränderungen: Das Interview

Wenn Sie mehrere Dinge zugleich verändern möchten, zum Beispiel einen Relaunch planen, einen neuen Sortimentsbereich hinzunehmen oder einen bestimmten neuen Service testen möchten, dann empfiehlt sich die Interview-Technik.

Dies ist eine sogenannte qualitative Testmethode, es geht also nicht darum seine Zielgruppe repräsentativ abzudecken. Bereits drei oder vier Interviews bringen in der Regel eine Menge wichtige Erkenntnisse. Bereits nach der 10. bis 15. Befragung kommen meist kaum noch neue Gesichtspunkte hinzu.

Wichtig ist, dass die Testpersonen der Zielgruppe entsprechen und trotzdem möglichst wenig Vorwissen über die zu testende Website haben. Außerdem müssen natürlich allen Testpersonen die gleichen Fragen gestellt werden. Diese sollten so neutral wie möglich gehalten sein und keine Antworten vorgeben.

Sehr gut bewährt hat sich die Methode des „lauten Denkens“. Hierbei werden keine Fragen gestellt, sondern die Testperson erhält eine Aufgabe, wie etwa: „Kaufe in diesem Shop eine Hose.“ Danach sagt der Interviewer nichts mehr.

Die Probanden klicken los und sprechen dabei laut aus, was immer ihnen durch den Kopf geht. Der Test wird aufgezeichnet, am besten per Video, denn dann sehen Sie hinterher auch die Körpersprache, über die oft wichtige Nuancen der Stimmung transportiert werden.

Wie gesagt: Bereits mit wenigen Interviews werden Sie wirklich interessante Hinweise auf die Akzeptanz und Usability neuer Shop-Elemente erhalten. Ein paar Freunde von Freunden sind schnell gefunden und Videos können Sie mit jedem Smart-Phone drehen. Schon kann der Test starten.

Nehmen Sie aber nicht die „Freunde“ – diese stehen Ihnen und Ihrem Projekt zu nahe und werden unter Umständen aus (vermeintlichem) Gefallen bestimmte Sachen verbergen / nicht sagen.

Damit die Ergebnisse von A/B-Tests und Interviews Ihnen aber auch wirklich in der Praxis helfen, sind einige Grundregeln bei der Vor- und Nachbereitung zu beachten.

Fünf Tipps gegen Test-Fallen

Klare Definition des Tests

Stellen Sie ganz am Anfang eine Hypothese auf, die möglichst wenige Variablen enthält („Rote Buttons werden häufiger geklickt als meine derzeitigen grauen Tasten“). Wenn Sie größere neue Pakete prüfen möchten, versuchen Sie, diese in Einzelteile zu zerlegen. Ist dies nicht möglich, empfiehlt sich auf jeden Fall die Interview-Methode statt vieler A/B-Tests.

Während des Tests nichts verändern

Ist der Test gestartet, verändern Sie nichts mehr. Wenn sie beispielweise während der Testphase ein attraktives Sonderangebot platzieren, kann es sein, dass es häufiger gekauft wird – unabhängig von der Optimierung, die Sie testen wollten. Sollten Sie bemerken, dass irgendetwas schief läuft, brechen Sie ab und starten Sie neu. Ansonsten erhalten Sie Ergebnisse unter verschiedenen und somit falschen Voraussetzungen.

Testergebnisse richtig interpretieren

Bei Interviews ist die Auswertung meist nicht schwer. Die Aussagen der Testpersonen stehen für sich und man kann in der Regel direkte Schlussfolgerungen ableiten. Bei A/B-Tests erhalten Sie eine Statistik – und die ist oft breiter interpretierbar.

Grundsätzlich können Sie nicht damit rechnen, dass ein gemessener positiver Effekt („Rote Buttons werden dreimal häufiger geklickt.“) den gleichen „Uplift“ (Tester-Jargon) im späteren Betrieb erzeugt. Auch Profis können nicht genau erklären, woran dies generell liegt, – es hängt tatsächlich oft vom Einzelfall ab.

Daher stellt sich immer die Frage, ab welchem positiven Wert sich eine Umstellung aufgrund der Testergebnisse lohnt. Eine Faustregel hierfür gibt es nicht, da ist Ihr Fingerspitzengefühl gefragt.

Nicht zu viel erwarten: Ein einzelner Test macht noch keine Super-Seite

Oft beobachtet man nach Einführung einer Neuerung, dass sich der positive Effekt nach einiger Zeit abschwächt. Web-Seiten scheinen eine Art „Mittelpunkt“ zu haben, zu dem sie nach einiger Zeit zurückkehren. Nur durch beständige Optimierung kann dieser Mittelwert gehoben werden. Eine Einzelmaßnahme verpufft über längere Zeit.

Ein einzelner Test macht also noch keine Super-Seite. Regelmäßige und klug geplante Tests aber schon.