www.testland-blog.de

Im Gegensatz zu a/b- und Multilevel-Tests werden bei mulitvariaten Tests (auch als multivariante bezeichnet) mehrere Testelemente parallel getestet. Man kann sich das auch so verstellen, wie wenn verschiedene a/b-Tests parallel gefahren werden. Hierdurch entsteht sehr schnell eine komplexe Teststruktur.

Wie ermittelt man nun bei einem multivariaten Test die Anzahl der Varianten und die Teststruktur?

Zuerst werden die Testelemente und deren Ausprägungen erfasst. Nehmen wir einmal an, es wird bei einer Landing Page Optimierung für ein Bausparangebot  die Überschrift und das eingesetzte Bild getestet. Somit ergeben sich zwei Testelemente: Überschrift und Bild. Im nächsten Schritt werden nun zu jedem Testelement die Testlevel, also die verschiedenen Ausprägungen aufgelistet. Hierbei hat sich aus meiner Erfahrung eine tabellarische Auflistung bewährt. Hierbei wird jedem Testelement ein Buchstabe und jedem Testlevel (Ausprägung) eine fortlaufende Nummer zugeordnet. Damit können wir nachher einfacher die Variantenanzahl und die Testmatrix ermitteln.  Die Auflistung für unser Beispiel der Landing Page Optimierung könnte dann wie folgt aussehen:

Im weiteren Verlauf werden nun mittels eines lateinischen Quadrats alle möglichen Testvarianten ermittelt. Es geht darum jede mögliche Kombination der verschiedenen Testelemente und Ihrer Ausprägung zu erfassen.

Die Kombination aller Elemente und Ausprägungen ergeben eine Testmatrix mit neun Varianten. Dieser Ansatz bei dem allen Faktoren (Elemente und Level/Ausprägungen) miteinbezogen und kombiniert werden wird auch in der Testfachsprache als “full factiorial Testing” bezeichnet. Die Varianten-Menge kann hierbei auch durch Multiplikation der Anzahl der Testlevel ermittelt werden. In unserem Beispiel haben wir je 3 Testlevel pro Testelement (siehe hierzu auch die erste Tabelle) also 3 x 3 = 9 Varianten.

Testland-Blog.de
Einfach besser optimiert

Hat Ihnen dieser Artikel zum multivariatem Testing mit Beispiel Landing Page Optimierung gefallen? Dann abonnieren Sie doch unseren RSS-Feed.

Weil ich immer wieder in Gesprächen bemerke, wie unbekannt oft die Idee und Funktion des Webseiten-Testings ist, habe ich ein kleines Erklärungsvideo hierzu produziert:

Wer das ganze lieber als Folienpräsentation durchblättern möchte findet die Präsentation hier:

Was ist die Grund-Idee des Webseiten-Testing?
Die Grund-Idee ist die, dass eine Webseite aus einer Vielzahl von Elementen wie z.B. Überschriften, Bilder, Texten oder auch Grafiken besteht. Der Erfolg einer Webseite ist somit stark abhängig von den Webseiten-Elementen und Ihrer Ausprägung. Daneben wird der Erfolg einer Website aber auch durch die Anordnung und Kombination der Elemente beeinflusst.

Wie funktioniert das Webseiten-Testing?
Beim Webseiten Testing werden die Elemente, wie Überschriften oder Bilder, verändert oder neu kombiniert und hierüber unterschiedliche Seitenvarianten erzeugt. Diese unterschiedlichen Varianten werden dann an den Nutzern getestet. Somit geschieht das Webseiten-Testing in drei wesentlichen Schritten:

1) Unterschiedliche Webseiten-Elemente erzeugen oder die Elemente neu kombinieren

2) Die veränderten Elemente oder Kombinationen einsetzen und hierdurch unterschiedliche Webseiten-Varianten erzeugen

3) Die verschiedenen Varianten an den Nutzern testen und Erkenntnisse gewinnen

Bei der Veränderung werden z.B. zwei unterschiedliche Überschriften geschaffen. Diese unterschiedlichen Überschriften werden nun in die Webseite eingesetzt und führen somit zu zwei Varianten der Webseite. Die unterschiedlichen Varianten der Webseite werden nun an den Nutzern getestet. Hierzu werden z.B. die Nutzer in zwei Gruppen eingeteilt: Gruppe A und Gruppe B. Gruppe A bekommt dann Variante A ausgeliefert und Gruppe B die Variante B. Anhand eines vorher bestimmten Erfolgskriteriums z.B. Aufenthaltsdauer auf der Webseite, wird dann der Nutzungsunterschied beider Varianten gemessen. Danach wird durch Vergleich der Ergebnisse die erfolgreichere Variante ermittelt. Diese kann nun zukünftig eingesetzt und somit die Webseite dauerhaft verbessert werden.

Testland-Blog
Einfach besser optimiert

Hat Ihnen dieser Artikel gefallen dann abonnieren Sie doch unseren RSS-Feed

Wikipedia ist ja mittlerweile auch eine sehr gute Quelle zum Thema Online-Marketing und Werbung. So gibt es z.B. auch einen guten Eintrag zu Landing Page. Was allerdings noch fehlte, war die Erklärung eines A/B-Tests. Da ich schon immer mal unter die Wikipedia-Autoren gehen wollte, habe ich mich der A/B-Test Lücke angenommen. Ergebnis ist dieser A/B-Test Eintrag in Wikipedia. Ich hatte mir im Vorfeld diverse andere Einträge angeschaut um ein Gefühl für die lexikonartige Formulierung zu bekommen. Anfangs ist das etwas ungewohnt aber wenn man mal drin ist geht es dann ganz gut. Es scheint auch den Richtlinien zu entsprechen, denn der Eintrag hat die Sichtung überlebt und steht nun fest drin. Im Artikel habe ich auch einige Literaturquellen zum A/B-Test untergebracht, wie z.B. das Buch zum Thema Landing Page Optimierung von Tim Ash. Wer sich für die Titel und weitere Bücher zum Website-Optimierung und Websitetesting näher interessiert,  der wird hier in der nächsten Zeit noch eine detailliertere Beschreibung der einzelnen Bücher finden.

Ein Test z.B. zur Optimieurung einer Landing Page setzt sich aus verschiedenen Bestandteilen zusammen. Diese können hierarchisch auch in eine klare Reihenfolge gebracht werden. Mein Modell hierzu ist die Testpyramide. Oben an der Spitze steht das Testobjekt. Um im Beispiel der Landing Page Optimierung zu bleiben ist das Testobjekt die Landing Page an sich. Dieses Testobjekt wiederum beinhaltet mehrere Elemente wie z.B. ein Bild, ein Text, eine Überschriften und ein Formular. Ein oder mehrere dieser Elemente können nun getestet werden. Wird z.B. das Bild getestet wird es somit zum Testelement und steht damit in der Pyramide an zweiter Stelle. Das Testelement wird nun in verschiedenen Ausprägungen geteset: z.B. Bild mit einer Frau, Bild mit einem Mann und Bild mit einem Kind usw. Die verschiedenen Ausprägungen stellen somit unterschiedliche Level für das Testelement dar, die sogenannten Testlevel. Hierarchisch gesehen stehen die Testlevel auf der dritten Stufe in der Test-Pyramide. Aus den verschiedenen Testelementen mit den zugehörigen unterschiedlichen Testlevel ergibt sich in der Gesamtheit die Testkombination also Bild1, Überschrift2, Formular1 ist dann eine der möglichen Testkombinationenen. Die Testkombination ist somit das Ergebnis aus den überliegenden Schichten der Pyramide und stellt damit die unterste Stufe dar.

Der Mulitlevel Test – auch A/B/n-Test genannt – stellt eine Erweiterung des A/B-Testes dar. Statt lediglich einer zusätzlichen Ausprägung des Testelements werden noch weitere Veränderungsstufen ausgetestet. Bildlich gesprochen werden auch hier wieder Äpfel mit Äpfel verglichen. Allerdings eben der bisherige Apfel nicht nur gegen einen neuen, sondern gleich gegen mehrere, neue Äpfel.

Beispiel Button und Bildpositionierung
So wird z.B. bei einem Button der bisherige Button in grün gegen einen gleichen Button in Blau und einen in Rot getestet.  Der Multilevel Test eignet sich gut für Layouttests, so könnte hiermit z.B. ausgetestet werden, an welcher Position optimalerweise ein Bild platziert wird. Hierzu wird das gleiche Bild (Testelement) an verschiedenen Positionen (Testlevel)  platziert, um somit die einzelnen Positionierungen gegeneinander zu testen.

Beim Multivariate Test werden mehrere Testelemente wie z.B. ein Bild, eine Überschrift und ein Formular in unterschiedlichen Ausprägungen (Testlevel) parallel getestet. Weil hier mehrere Testvariblen zum Einsatz kommen wird diese Testmethode auch als multivariables Testverfahren bezeichnet.

Mehr Elemente als beim A/B-Test
Wird beim A/B-Test nur ein Element wie z.B. ein Bild verändert und getestet und somit “Äpfel mit Äpfel” vergleichen, erfolgt beim Multivariate Test hingegen eine Ausweitung auf mehrere Elemente. Diese werden zur selben Zeit und in verschiedenen Ausprägungen getestet. Bei multivariablen Testverfahren geht es darum herauszufinden, welche Zusammenstellung aus den verschiedenen Elementen am meisten Erfolg bringt. Bleiben wir in der Analogie des Fruchtvergleiches lautet hier die Frage: “Welche Fruchtkombination macht den besten Fruchtsalat”.

Multivariate Test entspricht mehrfachen & parallelen A/B-Tests
Einfach gesprochen kann man sich den Multivariate Test auch so vorstellen, wie wenn mehrere A/B-Tests an einem Testobjekt z.B. an einer Landing Page bei einer Landing Page Optimierung zur selben Zeit ausgeführt werden.

Beim Website-Testing geht es vor allem darum die Website oder Elemente einer Website zu verbessern. Dies geschieht durch Einsatz von Tests und der nachfolgenden Anpassung der gefunden Schwachstellen oder Ausschöpfung der entdeckten Optimierungsmöglichkeiten. Grundsätzlich gibt es beim Website Testing in Anlehnung an die Marktforschung zwei unterschiedliche Testansätze:

1. quantitatives Testen
2. qualitatives Testen

—————————————
1. Das quantitative Website-Testen
—————————————
Hier geht es vor allem darum Hypothesen zu verifizieren und zu messen. Es wird die zahlenmäßige Ausprägung eines odere mehrerer bestimmter Merkmale gemessen. Die Ergebnisse werden dann auf die Grundgesamtheit generalisiert. Beim quantitativen Test wird versucht eine möglichst große Stichprobe aus dem gesamten Spektrum der Zielgruppe zu erreichen. Eingesetzte Methoden für das quantitative Website-Testing sind A/B-Test, Multilevel- und Mulitivariate Tests.

Beispiel Formulartest
Eine beispielhafte Fragestellung für einen quantitativen Onlinetest könnte z.B. sein: Welcher Text auf dem Absendebutton des Registrierungsformulares führt zu mehr Registrierungen? Hier könnte nun z.B. mit Hilfe eines A/B-Tests beim jedem Aufruf des Formulares eine andere Text-Version auf dem Absendebutton eingespielt werden. D.h beim einen Aufruf erscheint der Button mit dem bisherigen Text z.B. „Angebot anfordern“ und beim nächsten Aufruf der Button mit dem neuen Text z.B. „Jetzt unverbindlich Angebot anfordern“ Am Ende des Tests wird dann ausgewertet, mit welchem Button die meisten Registrierungen erreicht wurden.

Einsatzgebiete quantitatives Website-Testen (mehr…)

Beim A/B Test werden zwei Versionen eines Objektes z.B. ein Bestellbutton oder ein Produktbild gegeneinander getestet. Das heißt eine Ursprungsversion und eine veränderte Version treten gegeneinander an. Es werden also Äpfel mit Äpfel verglichen. Wichtig hierbei ist, daß immer nur ein Element oder Objekt verändert wird. Das heißt z.B. um im Apfelvergleich zu bleiben es wird ein großer Apfel mit einm kleinen Apfel verglichen.

Der A/B-Test wird auch als Split-Run-Test bezeichnet. Denn im Vorgehen wird die Zielgruppe in zwei Untergruppen aufgesplittet; Gruppe A und Gruppe B. Gruppe A bekommt dann die Original-Version gezeigt. Die B-Gruppe sieht die veränderte Version. Am Ende des Tests wird ausgewerte, welche der beiden Version erfolgreicher war.

Beispiel A/B-Test Bestellbutton
Auf einer Landingpage sollen zwei Unterschiedliche Größen-Versionen des Bestellbuttons gegeneinander getestet werden. Die Gruppe A erhält dann z.B. die bisherige kleine Version des Bestellbuttons. Die Gruppe B bekommt die veränderte, größere Version des Bestellbuttons zu sehen. Am Ende der Testzeit ergibt sich dann anhand der Testauswertung ob der größere oder der kleinere Bestellbutton erfolgreicher ist.