www.testland-blog.de

Livetesting zieht sich mittlerweile durch alle Bereiche, egal ob Business to Business, Business to Consumer oder Non-Profit, wie Wikipedia eindrucksvoll zeigt. Das bekannte Onlinelexikon hatte im Dezember 2009 intensiv verschiedene Bannerkampagnen zum Spendenmarathon getestet. Hier ein schönes Beispiel aus dieser Testreihe:

Variante A

Banner “Spender-Zitat”

vs.

Variante B

Banner "Spenden-Fortschrittsanzeige"

Ergebnis und Gewinner

(mehr…)

Gymniee (umbenannt heute: dailyburn) – ein Onlinedienst bei dem Mitglieder ihre Sportaktivitäten verwalten und sich austauschen können – testete zwei verschiedene Versionen der Homepage:

Version A	Version B
Homepage “Portal-Ansatz”	Homepage “Reduzierter Ansatz”
Navigationsleiste im Seitenkopf Vorteilsliste und Heroshot mit Registrierungs- und Tour-Button Artikel Teaser Blog Neueste Nutzer-Postings Vorstellung ausgewählter Nutzer Vorstellung ausgewählter Themen ==> Insgesamt 25 Optionen innerhalb einer Bildschirmlänge	Navigationsleiste verkleinert im Seitenfuss Grooße Vorteilsliste und Heroshot mit Registrierungs- und Tour-Button   ==> Nur 5 Optionen innerhalb einer Bildschirmlänge

Ergebnis und Gewinner

(mehr…)

Auch im Olympiaumfeld wird getestet. Innerhalb des offiziellen Merchandising-Shops zu den olympischen Winterspielen 2010 in Vancouver wurden verschiedene Versionen der Kategorieseite getestet. Folgende Versionen wurden ins Rennen geschickt:

“Mehr-Info”- Layout 4 Artikel in einer Reihe “Most Popular”- Liste auf der rechten Seite (siehe 3) Verfügbare Farbe je Artikel (siehe 1) Links zu Liefer- und Rückgabebedingungen (siehe 2)	“Reduziertes”- Layout 5 Artikel in einer Reihe

Gewinner: Version A
Interessant obwohl in der Regel reduzierte und damit übersichtlichere Layouts besser funktionieren, gewann die Version A. Diese brachte im Test 7,7% mehr Verkäufe und hob dabei die durchschnittliche Gesamt-Conversionrate der Site auf 22,1%. Allerdings hatte Version A auch eine höhere Abbruchrate.

Quelle: http://whichtestwon.com/archives/3376

Testland-Blog.de
Einfach besser optimiert

Bisher gab es mit Marketing Experiments vor allem einen Anbieter der systematisch Test-Ergebnisse präsentiert. In letzter Zeit jedoch kommen weitere Angebote in diesem Segment im Web auf:

ABtests.com – Uploadportal für Testergebnisse
Dieses Portal hat sich zum Ziel gesetzt, so etwas wie das flickr der Testergebnisse zu werden. Jeder kann seine Testergebnisse bescchreiben, hochladen und andere können die eingestellten Testergebnisse dann mit Kommentaren beurteilen. Jeder eingestellte Test ist auch Kategorisiert z.B. nach homepage, pricing page, landing page, sign-up page oder product page. Auf der Startseite wird der jeweils zuletzt eingestellte Test mit der Steigerungsrate der Gewinner Variante präsentiert.

Which test won – Quiz mit Tests
Eine Journal mit Testquiz-Prinzip: Wöchentlich wechselnd werden zu einem Test Variante A und B präsentiert. Nach einer Abstimung für A oder B sieht man die Abstimmungsergebnisse, sowie eine Beschreibung der Testresultate. Kommt ein neues Quiz, wandert das bisherige ins Archiv und kann dann leider nur noch zum Teil eingesehen werden.

Testland-Blog.de
Einfach besser optimiert

Seit gestern bekomme ich beim Aufruf von XING verschiedene Startseiten. Ich habe das heute nochmal von verschiedenen Browsern aus probiert und erhalte folgende zwei Versionen:

Für eine Großdarstellung der XING-Screenshots bitte hier oder auf das Bild klicken

Die wesentlich Änderung ist im rechten Bereich. In der Version A erscheint der Login-Bereich rechts neben dem Hauptbild. In der Version B wird der Login oben platziert und rechts gibt es eine Aufzählungsliste mit 4 Vorteilen. Der Handlungsaufruf für die Neuanmeldung ist bei beiden Versionen mit “Jetzt kostenlos anmelden!” gleich. Was den Login für bestehende User angeht, wird bei Version B ein grauer statt grüner Button mit Beschriftung “Login” verwendet.

Bei diesen Unterschieden stellt sich natürlich die Frage, ob XING momentan einen Startseiten-Test durchführt. Konnte aber nach ersten Recherchen im XING Blog und im Web nichts finden. Wäre ja spannend falls getestet wird, wie genau der Test konzipiert ist und was die ersten Ergebnisse zu Tage fördern. Ich vermute mal, dass hier sehr schnell Resultate vorliegen dürften, aufgrund des vorhandenen Trafficaufkommens. Laut Alexa hat XING einen Traffic Rank von Platz 18 in Deutschland. Zum Vergleich Spiegel Online hat einen Rank von 9 (und laut IVW 113 Mio. Visits).

Weiß hier jemand mehr ob XING gerade die Startseite testet oder wo es dazu etwas im Netz gibt?

Erstmal auch vom Testland-Blog herzlichen Glückwunsch an den Wahlsieger Barack Obama. Dem Sieg ging ein Wahlkampf voraus, der wieder neue Zeichen gesetzt hat und zwar ab sofort auch in Bezug auf das Thema Website Testing.

Onlinekanal maximal für Wahlkampf genutzt
Für das Buch Geld 2.0 von Vladimir Simovic und mir hatte ich das Thema Onlinespenden vor einiger Zeit vielfach recherchiert und bin damals bereits auf spannende Ergebnisse gestoßen: Howard Dean schaffte es in 2003 als erster amerikanischer Präsidentschaftskandidat das Internet dank Blogs, Email-Kampagnen, Onlinevideos etc. perfekt für massenhafte, kleine Einzelspenden zu nutzen und somit innerhalb weniger Monate mehr als 40 Millionen an Spenden einzusammeln. Was Dean damals online angefangen hatte wurde nun von Obama und seinem Team bis zur Perfektion weiter ausgebaut. Wie man z.B. hier lesen kann, hat der neue Präsident für seinen Onlinewahlkampf alle nur erdenkliche Register gezogenen: Von Flickr, über youtube bis MySpace um nur einige zu nennen, wurde alles eingesetzt was derzeit das Netz an modernen Kommunikation hergibt. Er schaffte es damit neue Rekorde in puncto  Spendeneinahmen mit z.B. 66 Millionen Dollar nur allein im August diesen Jahres zu setzen.

Perfektionierung durch Website-Testing
Durch diesen Blogeintrag bin ich darauf aufmerksam geworden, dass die Aktivitäten anscheinend auch systematisch durch Website-Testing ständing weiter optimiert wurden. Ich habe selber mal den dort angegeben Link verfolgt und konnte noch ein paar Reste des Testing live sehen. So werden  beispielsweise auf einer der Spenedenseiten unterschiedliche T-Shirt Motive mit Hilfe des Google Website Optimizers getestet (zum Vergrößern bitte den jeweiligen Screenshot klicken):

Weitere Tests auf der Homepage
Ein weiterer Test auf der Homepage von Obama wurde in diesem Blogbeitrag dokumentiert (bitte klicken Sie den jeweiligen Screenshot für eine vergrößerte Ansicht an):

Leider konnte ich bei meinen Recherchen keine Ergebnisse zu den beschriebenen Tests finden. Sollte jemand hier auf etwas stoßen, freue ich mich – und sicherlich auch die Leser des Testland-Blogs – über einen entsprechenden hinterlassenen Kommentar zu diesem Artikel.

Website Testing beginnt sich zu etablieren
Was dieses Beispiel zeigt, ist das das Thema Website-Testing sich immer stärker verbreitet. Aus meiner Sicht ist das Testing der nächste Schritt nach der Webanalyse und wird sich in naher Zukunft genauso etablieren. Da bleibt mir nur zu sagen:

Website-Testing – yes we can

Testland-Blog.de
Einfach besser optimiert

Im Gegensatz zu a/b- und Multilevel-Tests werden bei mulitvariaten Tests (auch als multivariante bezeichnet) mehrere Testelemente parallel getestet. Man kann sich das auch so verstellen, wie wenn verschiedene a/b-Tests parallel gefahren werden. Hierdurch entsteht sehr schnell eine komplexe Teststruktur.

Wie ermittelt man nun bei einem multivariaten Test die Anzahl der Varianten und die Teststruktur?

Zuerst werden die Testelemente und deren Ausprägungen erfasst. Nehmen wir einmal an, es wird bei einer Landing Page Optimierung für ein Bausparangebot  die Überschrift und das eingesetzte Bild getestet. Somit ergeben sich zwei Testelemente: Überschrift und Bild. Im nächsten Schritt werden nun zu jedem Testelement die Testlevel, also die verschiedenen Ausprägungen aufgelistet. Hierbei hat sich aus meiner Erfahrung eine tabellarische Auflistung bewährt. Hierbei wird jedem Testelement ein Buchstabe und jedem Testlevel (Ausprägung) eine fortlaufende Nummer zugeordnet. Damit können wir nachher einfacher die Variantenanzahl und die Testmatrix ermitteln.  Die Auflistung für unser Beispiel der Landing Page Optimierung könnte dann wie folgt aussehen:

Im weiteren Verlauf werden nun mittels eines lateinischen Quadrats alle möglichen Testvarianten ermittelt. Es geht darum jede mögliche Kombination der verschiedenen Testelemente und Ihrer Ausprägung zu erfassen.

Die Kombination aller Elemente und Ausprägungen ergeben eine Testmatrix mit neun Varianten. Dieser Ansatz bei dem allen Faktoren (Elemente und Level/Ausprägungen) miteinbezogen und kombiniert werden wird auch in der Testfachsprache als “full factiorial Testing” bezeichnet. Die Varianten-Menge kann hierbei auch durch Multiplikation der Anzahl der Testlevel ermittelt werden. In unserem Beispiel haben wir je 3 Testlevel pro Testelement (siehe hierzu auch die erste Tabelle) also 3 x 3 = 9 Varianten.

Testland-Blog.de
Einfach besser optimiert

Hat Ihnen dieser Artikel zum multivariatem Testing mit Beispiel Landing Page Optimierung gefallen? Dann abonnieren Sie doch unseren RSS-Feed.

Durch die Buchpause hat es etwas gedauert bis der dritte Schritt unserer dreiteiligen Serie für die Arbeit mit dem Google Website Optimizer (=Tutorial Googel Website Optimizer) fertig ist. In diesem Artikel behandeln wir den dritten Schritt Testerstellung und Teststart.

Veranschaulichung anhand Beispiel
1) Ausgangssituation:
Auf einer Demo-Seite für den Testland-Blog wird das Thema Testing angepriesen. Ziel der Seite ist es, dass die Besucher den Button am Ende der Seite anklicken. Sie gelangen dann auf eine Folgeseite mit verschiedenen Links.

2) Zielsetzung Test:
Getestet werden sollen nun 2 neue und die bisherige Überschrift und 2 neue Klick-Button und der bisherige Button. Somit haben wir zwei Testelemente: Überschrift und Klick-Button mit jeweils 3 Testlevel (inkl. Original). Damit ergeben sich dann 9 Test-Varianten: drei verschiedene Überschriften und drei verschiedene Klick-Buttons. Als zugehöriger Erfolg gegen den wir testen wird der Klick auf den Button und damit der Aufruf der Folgeseite definiert.

Die Schritte zur Umsetzung des Beispiels Google Website Optimizer
Zuerst erfolgt eine Anlage eines neuen Experimentes im Google Website Optimizer. Danach gibt es einen von Google Website Optimizer vorgegebenen Prozessablauf von 5 Schritten. Schauen wir uns das ganze nochmal im Überblick an: (mehr…)

Auch wenn bei einem Multileveltest – auch a/b/n-Test genannt – nur ein Testelement angepasst wird, so kann es aufgrund der vielfachen Testlevel (siehe zu Begrifflichkeiten auch unseren Betrag die Testpyramide) doch recht schnell zu einem großen Testcluster mit den einzelnen Testvarianten kommen.

Um hier den Überblick zu behalten empfehle ich im Vorfeld eine Auflistung zu erstellen. Wie sieht nun eine solche Auflistung aus? Bewährt hat sich eine tabellarische Aufstellung der Testlevel und sich hieraus ergebenden Testvarianten. Im Spaltenbereich werden die Testlevel (Ausprägugen) und im Zeilenbereich die Varianten aufgetragen.

Schauen wir uns folgendes Beispiel an: In einem Multilevel-Experiment soll im Zuge einer  Landing Page Optimierung für einen neuen Sportschuh das Produktbild getestet werden.  Es kommen hierbei zehn verschiedene Produktbilder zum Einsatz. Die Auflistung in einer Tabelle könnte nun wie folgt aussehen:

Ist der Test mit den verschiedenen Produktbilder gelaufen, also sind alle 10 Varianten entsprechend ausgespielt und die Ergebnisse ermittelt worden, gibt es meist eine Auswertung wie z.B. Variante 7 mit 2,5% Conversionrate und Variante 9 mit 1,9% Conversionrate usw. Die Tabelle hilft nun diese Auswertung im Detail nachzuvollziehen, da die Varianten-Nr. bezüglich dem dahinterstehenden Produktbild direkt nachgeschlagen werden kann.

Testland-Blog.de
Einfach besser optimiert

Planen Sie einen Website-Test wie z.B. die Optimierung einer Landing Page so ist es wichtig diesem im Vorfeld richten zu konzipieren. Damit ich an alles denke und einen soliden Testaufbau bekomme hilft mir die TAK-Formel. TAK steht hierbei für Testfrage – Aktion – Kennziffer. Schauen wir uns die Bestandteile der TAK-Formel im einzelnen an:

Testfrage
Das Ziel jeden Tests ist der Erkenntnis-Gewinn. Dieser wird über die sogenannte Testfrage oder auch (einseitige) Hypothese initiiert. Hiermit ist die Frage gemeint, die der Test beantworten soll. Mögliche Testfragen sind z.B. Erhöht die Wiederholung der Überschrift aus der Anzeige auf der Landing Page die Anzahl der Registrierungen? Erhöht der Zusatzhinweis “Diesen Artikel gibt es Portofrei” die Anzahl der Bestellungen?  Somit ist der Ausgangspunkt jeden Tests eine Annahme/Behauptung die es gilt durch den Test zu bestätigen oder zu widerlegen. Die Auswertung des Tests bringt dann am Ende den gewünschten Erkenntnis-Gewinn. 

Aktion
Mit Aktion ist die Umsetzung der Testfrage gemeint. Sprich was machen wir genau um die Testfrage zu prüfen also wie wird der Test aufgebaut. Der Testaufbau ist der erste Schritt von der konzeptionellen Festlegung des Testziels durch die Testfrage hin zur Umsetzung durch konkrete Maßnahmen.

Kennziffer
Mit Tests sollen Unterschiede messbar, also quantifizierbar gemacht werden. Deshalb gilt es die richtige Kennziffer für die Messung zu finden. Die Kennziffer oder Metrik richtet sich nach der Testfrage. Wird z.B. in einer Landing Page Optimierung mit der Testfrage: Welche Bestellbutton, der rote oder der grüne, auf der Landing Page führt zu mehr Bestellungen? getestet ist die zugehörige Kennziffer die Conversionrate – also die Rate die sich durch die Anzahl der Seitenbrufe im Verhältnis zu den über den Button ausgeführten Bestellungen ergibt.