Wie ermittelt man nun bei einem multivariaten Test die Anzahl der Varianten und die Teststruktur?

Zuerst werden die Testelemente und deren Ausprägungen erfasst. Nehmen wir einmal an, es wird bei einer Landing Page Optimierung für ein Bausparangebot  die Überschrift und das eingesetzte Bild getestet. Somit ergeben sich zwei Testelemente: Überschrift und Bild. Im nächsten Schritt werden nun zu jedem Testelement die Testlevel, also die verschiedenen Ausprägungen aufgelistet. Hierbei hat sich aus meiner Erfahrung eine tabellarische Auflistung bewährt. Hierbei wird jedem Testelement ein Buchstabe und jedem Testlevel (Ausprägung) eine fortlaufende Nummer zugeordnet. Damit können wir nachher einfacher die Variantenanzahl und die Testmatrix ermitteln.  Die Auflistung für unser Beispiel der Landing Page Optimierung könnte dann wie folgt aussehen:

Im weiteren Verlauf werden nun mittels eines lateinischen Quadrats alle möglichen Testvarianten ermittelt. Es geht darum jede mögliche Kombination der verschiedenen Testelemente und Ihrer Ausprägung zu erfassen.

Die Kombination aller Elemente und Ausprägungen ergeben eine Testmatrix mit neun Varianten. Dieser Ansatz bei dem allen Faktoren (Elemente und Level/Ausprägungen) miteinbezogen und kombiniert werden wird auch in der Testfachsprache als “full factiorial Testing” bezeichnet. Die Varianten-Menge kann hierbei auch durch Multiplikation der Anzahl der Testlevel ermittelt werden. In unserem Beispiel haben wir je 3 Testlevel pro Testelement (siehe hierzu auch die erste Tabelle) also 3 x 3 = 9 Varianten.

Testland-Blog.de
Einfach besser optimiert

Hat Ihnen dieser Artikel zum multivariatem Testing mit Beispiel Landing Page Optimierung gefallen? Dann abonnieren Sie doch unseren RSS-Feed.

Wer das ganze lieber als Folienpräsentation durchblättern möchte findet die Präsentation hier:

Was ist die Grund-Idee des Webseiten-Testing?
Die Grund-Idee ist die, dass eine Webseite aus einer Vielzahl von Elementen wie z.B. Überschriften, Bilder, Texten oder auch Grafiken besteht. Der Erfolg einer Webseite ist somit stark abhängig von den Webseiten-Elementen und Ihrer Ausprägung. Daneben wird der Erfolg einer Website aber auch durch die Anordnung und Kombination der Elemente beeinflusst.

Wie funktioniert das Webseiten-Testing?
Beim Webseiten Testing werden die Elemente, wie Überschriften oder Bilder, verändert oder neu kombiniert und hierüber unterschiedliche Seitenvarianten erzeugt. Diese unterschiedlichen Varianten werden dann an den Nutzern getestet. Somit geschieht das Webseiten-Testing in drei wesentlichen Schritten:

1) Unterschiedliche Webseiten-Elemente erzeugen oder die Elemente neu kombinieren

2) Die veränderten Elemente oder Kombinationen einsetzen und hierdurch unterschiedliche Webseiten-Varianten erzeugen

3) Die verschiedenen Varianten an den Nutzern testen und Erkenntnisse gewinnen

Bei der Veränderung werden z.B. zwei unterschiedliche Überschriften geschaffen. Diese unterschiedlichen Überschriften werden nun in die Webseite eingesetzt und führen somit zu zwei Varianten der Webseite. Die unterschiedlichen Varianten der Webseite werden nun an den Nutzern getestet. Hierzu werden z.B. die Nutzer in zwei Gruppen eingeteilt: Gruppe A und Gruppe B. Gruppe A bekommt dann Variante A ausgeliefert und Gruppe B die Variante B. Anhand eines vorher bestimmten Erfolgskriteriums z.B. Aufenthaltsdauer auf der Webseite, wird dann der Nutzungsunterschied beider Varianten gemessen. Danach wird durch Vergleich der Ergebnisse die erfolgreichere Variante ermittelt. Diese kann nun zukünftig eingesetzt und somit die Webseite dauerhaft verbessert werden.

Testland-Blog
Einfach besser optimiert

Hat Ihnen dieser Artikel gefallen dann abonnieren Sie doch unseren RSS-Feed

Beispiel Button und Bildpositionierung
So wird z.B. bei einem Button der bisherige Button in grün gegen einen gleichen Button in Blau und einen in Rot getestet.  Der Multilevel Test eignet sich gut für Layouttests, so könnte hiermit z.B. ausgetestet werden, an welcher Position optimalerweise ein Bild platziert wird. Hierzu wird das gleiche Bild (Testelement) an verschiedenen Positionen (Testlevel)  platziert, um somit die einzelnen Positionierungen gegeneinander zu testen.

Mehr Elemente als beim A/B-Test
Wird beim A/B-Test nur ein Element wie z.B. ein Bild verändert und getestet und somit “Äpfel mit Äpfel” vergleichen, erfolgt beim Multivariate Test hingegen eine Ausweitung auf mehrere Elemente. Diese werden zur selben Zeit und in verschiedenen Ausprägungen getestet. Bei multivariablen Testverfahren geht es darum herauszufinden, welche Zusammenstellung aus den verschiedenen Elementen am meisten Erfolg bringt. Bleiben wir in der Analogie des Fruchtvergleiches lautet hier die Frage: “Welche Fruchtkombination macht den besten Fruchtsalat”.

Multivariate Test entspricht mehrfachen & parallelen A/B-Tests
Einfach gesprochen kann man sich den Multivariate Test auch so vorstellen, wie wenn mehrere A/B-Tests an einem Testobjekt z.B. an einer Landing Page bei einer Landing Page Optimierung zur selben Zeit ausgeführt werden.

1. quantitatives Testen
2. qualitatives Testen

—————————————
1. Das quantitative Website-Testen
—————————————
Hier geht es vor allem darum Hypothesen zu verifizieren und zu messen. Es wird die zahlenmäßige Ausprägung eines odere mehrerer bestimmter Merkmale gemessen. Die Ergebnisse werden dann auf die Grundgesamtheit generalisiert. Beim quantitativen Test wird versucht eine möglichst große Stichprobe aus dem gesamten Spektrum der Zielgruppe zu erreichen. Eingesetzte Methoden für das quantitative Website-Testing sind A/B-Test, Multilevel- und Mulitivariate Tests.

Beispiel Formulartest
Eine beispielhafte Fragestellung für einen quantitativen Onlinetest könnte z.B. sein: Welcher Text auf dem Absendebutton des Registrierungsformulares führt zu mehr Registrierungen? Hier könnte nun z.B. mit Hilfe eines A/B-Tests beim jedem Aufruf des Formulares eine andere Text-Version auf dem Absendebutton eingespielt werden. D.h beim einen Aufruf erscheint der Button mit dem bisherigen Text z.B. „Angebot anfordern“ und beim nächsten Aufruf der Button mit dem neuen Text z.B. „Jetzt unverbindlich Angebot anfordern“ Am Ende des Tests wird dann ausgewertet, mit welchem Button die meisten Registrierungen erreicht wurden.

Einsatzgebiete quantitatives Website-Testen
Das quantitative Website-Testen eignet sich vor allem für das Optimieren und Weiterentwickeln von bestehenden Websites oder Website-Elementen. Damit geht es in Richtung Website-Evolution d.h. vorteilhafte Merkmale werden durch das Testen herausgearbeitet und setzen sich langfristig durch. Ähnlich wie beim Testen im Direktmarketing geht es häufig darum die Response also z.B. die Anzahl der Formulausfüller zu erhöhen. Bei diesem Einsatz im vermarktungsorientierten Testfeld spielt das quantitative Testen seine größte Stärke aus. So werden bei diesem Testing einzelne oder mehrere Elemente versuchsweise verändert, welche direkt am Vermarktungsprozess beteiligt sind. Denn erfolgreiche Test mit resultierenden Verbesserungen machen sich sofort in Mehrverkäufen oder Mehrerlösen also in barer Münze bemerkbar. Es wird z.B. eine Suchmaschinen-Anzeige mit unterschiedlichen Texten geschaltet oder bei einem Lead-Generierungs-Formular wird mit verschiedenfarbigen Absendebuttons experimentiert.

Onlinekanal & quantitatives Testen ein unschlagbares Team
Gerade der Onlinekanal liefert zwei unschlagbare Vorteile:

• Geringe bis keine Produktions/Änderungskosten
• Direkte und messbare Reaktionen

Produktion und Änderung im Onlineumfeld erfordern aufgrund der Digitalisierung im Gegensatz zun den Offlinekanälen deutlich geringere Produktionkosten (z.B. keine Druckkosten). Zudem bringt der der Onlinkanal mit der Logfileschreibung von Hause aus eine Erfolgsmessung schon seit Anbegin mit. In Verbindung mit dem quantitativen Testen wird hieraus ein unschlagbares Team.

Vergleich Responsetest Online und Offline
Wird wie im oben gezeigten Beispiel durch den unterschiedlichen Buttontext des Registrierungsformulars ein einfacher Test des Responseelementes durchgeführt bedarf es hierzu nur einen geringen Aufwand. Es werden zwei Versionen der Formularwebseite erstellt, wobei letzendlich nur der Button angepasst werden muss. Einmal mit Originaltext und einmal mit dem veränderten Text. Für die wechselseitige Ausspielung kann bei diesem A/B-Test-Szenario mit einer einfachen Softwareweiche gearbeitet werden. Diese verteilt in Echtzeit die Anfragen wechselseitig auf die Variante A oder B. Je nach Anzahl der Websitebesucher sind bereits in weniger als ein paar Stunden statistisch ausreichende Messdaten generiert und das Ergebnis steht fest. Vergleicht man nun einen Test des Responeselementes im Offline-Direktmarekting stellt sich der Aufwand um ein vielfaches höher dar. Es müssen zwei Unterschiedliche Briefversionen gedruckt werden, der Adressbestand ist im Vorfeld in zwei Testgruppen zu unterteilen und der Versand an die beiden Testgruppen muss koordiniert werden. Zudem ist das Ergebnis meist erst nach einigen Tagen ermittelbar, wenn eine ausreichende Anzahl an Antworten eingetroffen ist.

Quantitatives Testing als Quelle ständiger Verbesserung
Das quanatitative Website-Testing bietet aus meiner Sicht vor allem auch die Chance einfach und schnell einen kontinuierlichen Verbesserungsprozess (KVP) zu installieren. Beim KVP wird statt in großen Schritten aufwändige Veränderungen vorzunehmen, versucht durch kleine, einfache und stetige Veränderungen sich permanent zu verbessern. Über die Zeit ergibt sich dann in der Summe große Optimierungfortschritte.Geschichtlich gesehen begründet sich ein Großteil des Erfolges von Toyota auf dem KVP-Prinzip. Toyota hatte in den 80er Jahren damals eine quasi-Revolution in der Autiondustrie mit diesem Prinzip hervorgerufen. Nutzen Sie das KVP-Prinzip und testen und optimieren Sie mit dem einfachen und schnellen quantitativen Website-Tesings Ihre Onlineaktivitäten.

—————————————
2. Das Qualitative Website-Testen
—————————————
Diese Art des Onlinetesting ist vor allem durch das Usability Testing bekannt. Hier geht es in erster Linie darum herauszufinden wie die Nutzer den Besuch einer Website erleben oder warum sie sich in einer bestimmten Art und Weise verhalten. Es werden also subjektive Daten wie Bedürfnisse, Meinungsbilder, Verhaltensweisen und Entscheidungsstrukturen erhoben. Die Erhebung erfolgt mit Hilfe von Befragungs- und Beobachtungsmethodiken. Die Beobachtungen dienen der Erfassung sinnlicher Wahrnehmungen. Realisiert wird dies mit Blickregistrierung über Augenbeobachtungskameras, Messungen von Kopfbewegungen und Ermittlung von Hautwiederständen. Im Vergleich zum quantitativen Testing zeichnet sich der qualitative Ansazt durch größere Flexibilität und Offenheit auf. Meist gibt es einen groben thematischen Leitfaden für die Erhebung aber Einzelaussagen und indivuduelle Verhalten fließen auch bewusst in die Auswertung mit ein. Auch bei der Stichprobenbildung zeigt sich der Unterschied in Richtigung Individualität: Bei der qualitativen Website-Erhebung werden die Probanden aus einer kleinen Gruppe für den Untersuchungsgegenstand typischen Vertretern ausgewählt.

Aufgabenfelder des qualitativen Website-Testing
Der qualitative Ansatz eignet sich vor allem zur Erkundung von Ursachen, Ermittlung von Verbesserungsvorschlägen, Erstellung von Typologisierungen bezogen auf die Zielgruppen oder zur Ideengenerierung. Somit kommt dieses Verfahren besonders innerhalb der Stufe des Entwicklungsprozesses zum Einsatz. So werden Beispielsweise qualitative Testings mit Usability-Tests in Bereich der Website-Erstellung oder Re-Designprozessen durchgeführt. Probanden werden dann vor die Aufgabe gestellt an einer Beta-Version oder Klick-Dummies bestimmte Aktion auszuführen, die sie später auch so oder in ähnlicher Form in der Realität ausführen würden.

„Warum und Wie-Erkundung“ ist höherer Aufwand
Das quantitativen Website-Testing kann z.B. mit einfachen A/B-Test schnell und aufwandsgering Ergebnisse zur Fragestellung „was und wie häufig“ liefern. Demgegenüber steht die „Warum und Wie-Erkundung“ mit dem explorativen und forschenden aber auch aufwändigeren Ansatz des qualitativen Website-Testing. Hier bedarf es einer Vielzahl von Aktivitäten zum Aufbau z.B. eines Usability-Tests: Auswahl der Probanden, Labororganisation und Einladung der Probanden, Erstellung des Testszenarios mit Fragekatalog, Bestimmung der Beobachter usw. Der hohe Aufwand rechnet sich aber gerade bei Entwicklungsprojekten, den werden im frühem Stadium Fehler entdeckt und die Nutzung optimiert macht sich das dann im späteren Echtbetrieb schnell wieder bezahlt. Deshalb spielt das qualitative Website-Testing seine volle Stärke vor allem bei Entwicklungs- oder größeren Veränderungsprojekten aus.

Der A/B-Test wird auch als Split-Run-Test bezeichnet. Denn im Vorgehen wird die Zielgruppe in zwei Untergruppen aufgesplittet; Gruppe A und Gruppe B. Gruppe A bekommt dann die Original-Version gezeigt. Die B-Gruppe sieht die veränderte Version. Am Ende des Tests wird ausgewerte, welche der beiden Version erfolgreicher war.

Beispiel A/B-Test Bestellbutton
Auf einer Landingpage sollen zwei Unterschiedliche Größen-Versionen des Bestellbuttons gegeneinander getestet werden. Die Gruppe A erhält dann z.B. die bisherige kleine Version des Bestellbuttons. Die Gruppe B bekommt die veränderte, größere Version des Bestellbuttons zu sehen. Am Ende der Testzeit ergibt sich dann anhand der Testauswertung ob der größere oder der kleinere Bestellbutton erfolgreicher ist.