Kostenloses A/B-Testing für jede Website – ein Selbstversuch mit Google Optimize
Trackback URL
Ist dieser Button besser? Spricht dieses Angebot unsere Zielgruppe am Besten an? Oder sollen wir lieber dieses oder jenes Bild verwenden? Vor solchen Fragen stehen Webseiten- und Shop-Verantwortliche häufig. Alleine auf das Bauchgefühl sollte man sich besser nicht verlassen. Doch wie können fundierte Entscheidungen getroffen werden? A/B-Tests können – richtig (!) angewandt - nützliche Aussagen über den Einfluss einzelner Elemente liefern. Mit Google Optimize führen Sie entsprechende Tests einfach durch. Ganz egal, welche Backendtechnologie Sie nutzen. Wir haben uns angesehen, wie das geht!
Erste Schritte mit Google Optimize – System einrichten
Melden Sie sich einfach unter https://www.google.com/analytics/optimize/ an. Wenn Sie schon über einen Google Account verfügen (z.B. weil Sie Google Analytics oder andere Google-Produkte nutzen), verwenden Sie einfach Ihre gewohnten Login-Daten. Andernfalls müssen Sie sich zunächst registrieren. Einmal angemeldet, können Sie gleich beginnen, ein erstes Experiment zu erstellen. Hierfür ist der Google Chrome Browser mit einer entsprechenden Extension nötig. Die Erweiterung für Google Chrome ist kostenlos. Genauso wie der Basis Account von Optimize. Dieser bietet weniger Möglichkeiten als der kostenpflichtige Account, reicht für einen ersten Einstieg in die Welt der Variantentests jedoch aus.
Wenn Sie Ihr erstes Experiment anlegen, müssen Sie zudem einige Einstellungen vornehmen und Ihre Webseite für Google Optimize einrichten. Dies ist in wenigen, kurzen Schritten – die wir gleich erläutern – möglich. Dabei spielt es - wie gesagt - keine Rolle ob und welches CMS Sie verwenden.
Experiment anlegen
Geben Sie zu Beginn einen Namen für das Experiment sowie die URL der Webseite, auf der der A/B-Test durchgeführt werden soll, ein. In unserem "Selbst-"Versuch erstellen wir für unseren Kunden Vamedis einen A/B-Test für die Startseite des Vamedis SwissBeautyShop. Dabei soll die Headline im Key Visual der Startseite getestet werden. Wir vergeben also einen Namen für den Test und geben die URL der entsprechenden Seite an.
Mit Google Analytics verknüpfen
Verknüpfen Sie Google Optimize mit Ihrem Google Analytics Account. Wenn Sie bereits einen Google Account hatten und mit diesem auch Analytics nutzen, kennt Google die zu Ihnen gehörenden Webseiten (Properties) bereits. Sie brauchen die passende Google Analytics Property dann nur noch aus einer Liste auszuwählen. Dies ermöglicht Ihnen später auch, die Testergebnisse direkt in Google Analytics zu analysieren.
Code-Snippet in Quelltext der Seite einfügen
Im nächsten Schritt muss zum Einen der Tracking-Code von Google Analytics um eine Zeile ergänzt werden, zum Anderen muss ein zusätzliches JavaScript Snippet in den Quelltext Ihrer Seite integriert werden. Die benötigten Codes werden Ihnen, wenn Sie Ihr erstes Experiment erstellen, ganz einfach angezeigt. Im contentXXL CMS können Sie den Java-Script Code von Google Optimize im Bereich eTracking einfach vor den Google Analytics Code setzen. Die dazugehörige Style-Information (CSS) kopieren Sie einfach über den Stylesheet-Manager in die Stilvorlagen. Wenn Sie dabei Hilfe benötigen, sind wir Ihnen jederzeit gerne dabei behilflich.
Sobald die beiden Codes im Quelltext der Seite integriert sind, können Sie den A/B-Test für Ihre Webseite erstellen.
Hypothese und Experiment definieren
A/B-Test sollen Aufschluss darüber geben, wie sich die Variation eines bestimmten Seitenelements (z.B. eines Headers, eines Call-outs, eines Produktangebots oder eines Call-to-Actions usw.) auf die Conversions beziehungsweise auf das Verhalten der Besucher auswirkt.
Hierzu müssen verschiedene Testvarianten erstellt werden, die dann zur gleichen Zeit gegeneinander getestet werden. So lassen sich verlässliche Aussagen darüber gewinnen, welche Variante für ein definiertes Ziel (z.B. Conversions) erfolgsversprechender ist. Dabei hängt die Verlässlichkeit der Aussagen jedoch von verschiedenen Faktoren ab. Unter anderem gehören dazu, dass das Experiment möglichst isolierbar ist (also keine Verzerrungen von außen auftreten) und vor allem, dass die statistische Signifikanz ausreichend ist, um einen Zusammenhang zwischen Änderung und Ergebnis wirklich nachweisen zu können. Auf was es für saubere Ergebnisse wirklich ankommt, lesen Sie in unserem Blogbeitrag "Häufige Fehler bei A-B-Tests"
Abbildung: Nachdem ein Experiment erstellt wurde, müssen Varianten hinzugefügt werden
Wichtig beim Anlegen eines Experiments und der dazugehörigen Testvarianten ist immer eine dahinterstehende Hypothese.
Unsere Hypothese lautet: Wenn wir das Leistungsversprechen („Ihr Partner für Medical Beauty“) sowie das Angebot („Filler, Microneedling, Mesotherapie & mehr“) bereits in der sofort sichtbaren Headline artikulieren, wird sich dies positiv auf die Bounce-Rate der Webseite auswirken.
Ob dies stimmt gilt es im nächsten Schritt zu testen. Hierzu wird die Headline entsprechend der Hypothese verändert. Wichtig in diesem Zusammenhang ist, dass sich die Variante ausreichend vom Original unterscheidet, also wirklich eine wahrnehmbare Veränderung stattfindet.
Anlegen von Testvarianten mit dem Point-and-Click-Editor
Wie bei vielen anderen Testing-Tools aus diesem Bereich handelt es sich auch bei Google Optimize um einen sogenannten Point-and-Click-Editor. Das heißt unsere angegebene Webseite wird in Google Optimize geladen und wir können die zu verändernden Bereiche ganz einfach mit der Maus auswählen, markieren und anschließend den Inhalt verändern. Die technische Grundlage hierfür bildet JavaScript. Einfach gesprochen, wird der von Ihnen mit der Maus markierte Bereich über die entsprechenden HTML- und CSS-Auszeichnungen erkannt und der Inhalt dann mittels JavaScript manipuliert. Diese Aufgabe übernimmt das Code-Snippet, das Sie in den Quelltext integriert haben. Die Variante wird jedoch nicht bei jedem Laden der Seite ausgeliefert, sondern muss an bestimmte, zu definierende Bedingungen geknüpft werden. Zum Beispiel wird die neue Variante nur 50% der Besucher angezeigt, die andere Hälfte bekommt das Original zu sehen. Es wird also nur bei jedem zweiten Aufruf der Inhalt mittels JavaScript entsprechend verändert.
In unserem Bespiel wählen wir den prominentesten Bereich der Startseite für unseren Variantentest aus: wir verändern den Text auf dem Titelbild entsprechend unserer Hypothese. Hierzu markieren wir mit der Maus den entsprechenden Bereich und editieren den Text oder das HTML der betreffenden Stelle. Dies ist mit wenigen Maus-Klicks auch für Nicht-Techniker leicht möglich.
Änderung:
Anstatt eines einfachen Hinweis auf den Produktfinder kommunizieren wir unser Leistungsversprechen und stellen sofort klar, welche Produkte den Besucher erwarten.
Abbildung: Die Originalversion der Webseite wird in den Point-and-Click-Editor geladen. Hier lassen sich Seitenbereiche anhand der DOM-Struktur auswählen und Inhalte editieren.
Abbildung: Die beiden Texte auf dem Key-Visual wurden für eine Variante angepasst. Bei der Auslieferung der Seite wird der Inhalt dort von Google Optimize per JavaScript entsprechend angepasst.
Ziele und Targeting festlegen
Bevor der Test gestartet werden kann, müssen die Verteilung sowie die Ziele festgelegt werden. In unserem Test liefern wir sowohl Original als auch die Variante jeweils zu 50 Prozent aus.
Das Ziel ist für die anschließende Auswertung entscheidend. Dass Ziel und Hypothese zueinander passen müssen, sollten selbstverständlich sein. Anhand des definierten Ziel und der gemessenen Zielerreichung wird schließlich ermittelt, ob die neue Variante besser performt als das Original. Dabei möchten wir wissen, ob sich die neue Formulierung positiv auf die Bounce-Rate auswirkt. Das heißt, sinkt der Anteil der Personen, die unsere Startseite ohne weitere Interaktion verlassen?
Google Optimize bietet standardmäßig die Möglichkeit Page Views, Sitzungsdauer und Bounces zu analysieren. Ist der Optimize Account mit Google Analytics verknüpft, stehen zudem die in Google Analytics definierten, individuellen Conversions als Testkriterium zur Verfügung.
Die Schwierigkeit liegt allerdings darin, eindeutige Ergebnisse zu bekommen. Sprich, die Möglichkeit des „Zufalls“ muss eliminiert werden. Hierfür – und darin liegt das Hauptproblem – sind ausreichend hohe Fallzahlen nötig, die viele Webseiten jedoch nicht annähernd erreichen. Eine Steigerung von drei auf vier Conversions kann nicht verlässlich auf die Veränderung an der Website zurückgeführt werden. Ebenso kann dies einfach dem Zufall oder anderen Einflüssen geschuldet sein. Statistische Signifikanz lautet hier das Stichwort. Diese wird jedoch nur durch ausreichend Besucher und eine ausreichende Anzahl Conversions sichergestellt. Oft ist es daher besser, sogenannte Micro-Conversion zu definieren. Dabei handelt es sich um häufiger vorkommende Ereignisse, die aber dennoch Erfolgswirksam sind.
Abbildung: Vor dem Start müssen noch die Verteilung der Auslieferung sowie die Messkriterien definiert werden.
Vorschaufunktion nutzen - erst dann starten
Nachdem Sie die Verteilung (Original versus Variante) sowie die Ziele definiert haben, können Sie den A/B-Test starten. Bevor Sie dies tun, sollten Sie unbedingt die Vorschaufunktion nutzen und die Darstellung auf unterschiedlichen Displaygrößen bzw. Gerätetypen prüfen.
Gerade bei JavaScript-basierten Point-and-Click-Editoren kann es in verschiedenen Browsern und auf verschiedenen Geräten zu Darstellungsproblemen kommen. Dies kann Nutzer verärgern und so auch die Testergebnisse verzerrren und somit unbrauchbar machen.
Ergebnis
Das Wichtigste bei der Interpretation des Ergebnisses ist - wie schon mehrfach erwähnt - die ausreichende, statistische Signifikanz. Selbst wenn eine Variante mit 75% Wahrscheinlichkeit besser ist als die andere, reicht dies nicht aus; im Prinzip sollte die Wahrscheinlichkeit immer mindestens 95% betragen. Um eine entsprechende Siginifikanz zu erreichen, sind zwei Größen von entscheidender Bedeutung: die Fallhäufigkeit (z.B. Anzahl der Bounces, Conversions o.ä.) sowie deren prozentuale Veränderung. Je größer die Veränderung, desto geringer muss die Fallhäufigkeit sein, um ein verlässliches Signifikanzniveau zu erreichen.
In unserem Beispiel haben wir bewusst auf die häufiger vorkommenden Bounces getestet. Die Anzahl von Besuchern und der Sales-Conversions ist bei einem solchen "Special Interest Shop" häufig zu gering für aussagekräftige Ergebnisse, beziehungsweise müsste die Testlaufzeit viel zu lange sein, um verlässliche Ergebnisse zu erhalten.
Glauben Sie nicht? Ein einfaches Rechenbeispiel: Sagen wir Sie haben 2.000 Visitor pro Monat und verteilen diese 50/50 auf das Original sowie die Variante, wobei das Original 10 Conversions (entspricht 1%) und die Variante 15 Conversion (entspricht 1,5%) erzielt. Diese augenscheinlich deutliche Steigerung erreicht jedoch nur ein Signifikanzniveau von 68% !! Um ein ausreichendes Niveau zu erreichen, müssten Sie die Anzahl der Conversions bereits auf 21 mehr als verdoppeln. Ganz anders sieht es aus, wenn Sie ordentlich Traffic zu verteilen haben. Werden beide Varianten mit jeweils 5.000 Besuchern getestet (bei gleichen Conversionraten) reicht die Steigerung um 0,5% bereits aus um eine Niveau von 97% zu erreichen. Besucherzahlen, Conversionzahl und Steigerung sind also die entscheidenden Kriterien für die Plausibilität von A-B-Tests.
Spielen Sie doch selbst ein bisschen mit ein paar Zahlen: http://converlytics.com/signifikanz-rechner-ab-test/
Bezogen auf die Bounces hat sich unsere Hypothese übrigens bestätigt: Die neue Variante des Key Visuals performt mit einer Wahrscheinlichkeit von 99% besser als die ursprüngliche Version.
Abbildung: Auswertung des A-B-Test mittels Google Optimize
Fazit
A/B-Tests können ein geeignetes Hilfsmittel sein, um zwei Varianten gegeneinander zu testen. Allerdings setzen valide Ergebnisse einiges voraus. Die sinnvolle Definition der Hypothese ist dabei noch am einfachsten zu bewerkstelligen. Das größere Problem ist die statistische Signifikanz – sie ist zwingend nötig, um keine falschen Rückschlüsse zu ziehen, unterliegt aber zahlreichen Einflüssen. Mehr dazu in unserem Beitrag "Häufige Fehler beim A-B-Tests". Gerade wenn es darum geht, Auswirkungen auf Conversions wie Sales oder Leads zu testen, haben die allermeisten deutschen Webseiten und Onlineshops, vor allem im Mittelstand, keine ausreichende Fallzahlen. Für kleine Onlineshops und Websites ist es somit in jedem Fall effektiver, auf durchdachte Usability- und Conversionoptimierungs-Konzepte sowie hochwertigen Content zu vertrauen, als A-B-Tests zu nutzen.
Lassen Sie uns wissen, was Sie denken...