Upsell-Angebote im A/B-Test, ohne sich selbst zu täuschen
Ein A/B-Test zeigt zwei oder mehr Versionen eines Angebots an vergleichbare Kunden und misst, was sie einbringen. Bei Upsells ist er der schnellste Weg zum richtigen Produkt und zum richtigen Rabatt, solange Sie die Fallen vermeiden, die den Test sagen lassen, was Sie sich erhofft haben.
Immer nur eine Sache ändern
Testen Sie das Produkt oder den Rabatt oder den Text, aber nicht alle drei gleichzeitig. Gewinnt Version B mit anderem Produkt und höherem Rabatt, wissen Sie nicht, was gewirkt hat, und können die Erkenntnis nirgends wiederverwenden.
Umsatz pro Aufruf vergleichen, nicht die Annahmequote
Die Annahmequote sagt, wie oft ein Angebot angenommen wird. Sie sagt nicht, wie viel es einbringt. Ein Artikel für 5 €, den 10 % annehmen, bringt 0,50 € pro Aufruf. Ein Artikel für 15 €, den 5 % annehmen, bringt 0,75 €. Das zweite Angebot verliert bei der Quote und gewinnt beim Umsatz.
Der Umsatz pro Aufruf zählt jeden Aufruf mit, Ablehnungen als null. Er beantwortet die Frage, auf die es ankommt: Welches Angebot bringt jedes Mal mehr Geld, wenn es erscheint?
Genug Aufrufe abwarten
Frühe Ergebnisse schwanken stark. Bei zwanzig Aufrufen verschiebt eine Annahme mehr oder weniger die Quote um fünf Punkte. Ein Test braucht eine ordentliche Zahl von Aufrufen je Version, bevor der Abstand etwas bedeutet, und wie lange das dauert, hängt davon ab, wie oft das Angebot erscheint, nicht vom Kalender. Ein Shop mit dreißig Bestellungen pro Woche rechnet in Wochen, nicht in Tagen.
Nicht beim ersten schönen Abstand aufhören
Den Test täglich anzusehen und zu stoppen, sobald eine Version führt, ist der häufigste Weg zu einem falschen Sieger. Unterschiede entstehen und verschwinden zufällig; wer auf einem Hoch stoppt, hat den Zufall festgehalten, nicht das Ergebnis. Legen Sie vorher fest, was Sie sehen müssen, und lassen Sie den Test dorthin laufen.
Mehr Versionen brauchen mehr Beweis
Bei drei Versionen liegt die beste oft allein durch Glück vorn, denn Sie greifen den höchsten von drei verrauschten Werten heraus. Die Hürde muss höher liegen als bei zwei. Werkzeuge, die das ernst nehmen, erhöhen die geforderte Konfidenz, sobald eine Version dazukommt.
Was Sie mit dem Ergebnis tun
- Behalten Sie den Sieger und stellen Sie ihm einen neuen Herausforderer gegenüber. Testen hört nie ganz auf.
- Trennt sich nach langer Laufzeit nichts, liegen die Versionen nah beieinander: Nehmen Sie die mit der besseren Marge oder dem einfacheren Bestand.
- Testen Sie neu, wenn Saison oder Sortiment wechseln. Ein Sieger im Dezember gewinnt nicht zwingend im Juni.
Wie FlatUpsell einen Test liest
In FlatUpsell kann eine Post-Purchase-Regel bis zu drei Produkte tragen. Die App vergleicht sie am Umsatz pro Aufruf und rechnet unter zwanzig Aufrufen je Version gar nicht, weil eine Näherung darunter eine höfliche Lüge wäre.
Sie schreibt „gewinnt“ erst bei 95 % Konfidenz mit zwei Versionen und bei 97,5 % mit drei — dieselben 95 %, verteilt auf den zusätzlichen Vergleich. Darunter heißt es „führt“. Die Schwelle steht auf dem Bildschirm, damit Sie früher entscheiden können, wenn Sie das Risiko tragen wollen.