A/B Test

Das Bessere ist der Feind des Guten

A/B Tests ermöglichen eine strukturierte und kontinuierliche Weiterentwicklung von digitalen Kampagnen, Landingpages und Maßnahmen.

Was ist ein A/B Test?

Das Bessere ist der Feind des Guten

Was ist ein A/B Test?

Ein A/B Test ist eine strukturierte Herangehensweise um eine Hypothese zu überprüfen.

Kein Test ohne Hypothese?

Eine Hypothese kann viele Formen annehmen, folgt aber meist einem einfachen Satzaufbau:

Die Zielgruppe … (erwartet Klarheit zum liefertermin) weil sie … (da zu Hause sein muss) dadurch wird sich folgende Metrik verändern … ( Visit 2 Add to Cart ) um 0,x Prozentpunkte was auf 12 Monate ein Umsatzpotential von … bedeutet.

Sammlung und Priorisierung

Ein grosses Problem beim Testen ist die schiere Anzahl von Ideen, die man testen könnte. Gerade in Unternehmen gibt es viele Stakeholder, die Ideen äussern und dann auch dazu gerne ein ergebnis hätten.

Da hilft nur eine gute und transparente Priorisierung.

Ein einfaches Priorisierungsmodell ist, Aufwand und potentieller Erlös gegenüber zu stellen und dann nach der Quote zu sortieren, bei dem der Test mit dem größten Effekt bei gleichzeitig geringstem Aufwand als erstes angegangen wird.

Wann ist ein Test erfolgreich?

Viele Test-Tools übertragen das Modell der Signifikanz auf A/B Tests. Dabei wird die Wahrscheinlichkeit gemessen, zu der die getroffene Entscheidung wirklich die bessere ist.

Dabei nimmt man Signifikanz bei 95% an.

Soweit so gut, und das ist auch für den Anfang ein valider Ansatz.

Was diese Messung aber nicht beantwortet, ist z.B. der Schaden, wenn man falsch liegt und viel wichtiger, ob man bei geringen Auswirkungen wirklich erst dann die Entscheidung treffen kann?

Was gute A/B Tests auszeichnet

Kontrast. Je unterschiedlicher die Varianten sind, desto schneller wird man ein ergebnis sehen.

Quellen und Vertiefung zum Thema A/B Testing