Teste A/B de ofertas de upsell sem enganar a si mesmo
Um teste A/B mostra duas ou mais versões de uma oferta a clientes comparáveis e compara o que elas rendem. Nos upsells, é o caminho mais rápido para achar o produto e o desconto certos, desde que você evite as armadilhas que fazem o teste dizer o que você queria ouvir.
Mude uma coisa de cada vez
Teste o produto, ou o desconto, ou o texto, mas não os três de uma vez. Se a versão B vencer com outro produto e um desconto maior, você não vai saber qual dos dois funcionou, e a lição não serve para mais nada.
Compare receita por exibição, não taxa de aceitação
A taxa de aceitação diz com que frequência a oferta é aceita. Não diz quanto ela rende. Um item de R$ 5 aceito por 10% dos clientes rende R$ 0,50 por exibição. Um item de R$ 15 aceito por 5% rende R$ 0,75. A segunda oferta perde na aceitação e ganha na receita.
A receita por exibição conta todas as exibições, com as recusas valendo zero. Ela responde à pergunta que importa: qual oferta traz mais dinheiro cada vez que aparece?
Espere ter exibições suficientes
Os primeiros resultados oscilam muito. Com vinte exibições, uma aceitação a mais ou a menos muda a taxa em cinco pontos. Um teste precisa de um número decente de exibições em cada versão antes de a diferença significar algo, e o tempo que isso leva depende de quantas vezes a oferta aparece, não do calendário. Uma loja com trinta pedidos por semana vai contar semanas, não dias.
Não pare na primeira diferença bonita
Olhar o teste todo dia e parar assim que uma versão fica na frente é a forma mais comum de coroar um falso vencedor. As diferenças surgem e somem por acaso; parar num pico é registrar o acaso, não o resultado. Decida antes o que você precisa ver e deixe o teste chegar lá.
Mais versões exigem mais prova
Com três versões, a melhor das três muitas vezes fica na frente só por sorte, porque você está pegando o maior de três números com ruído. A barra precisa ser mais alta que com duas. Ferramentas que levam isso a sério aumentam a confiança exigida quando você acrescenta uma versão.
O que fazer com o resultado
- Fique com o vencedor e coloque um novo desafiante contra ele. Testar nunca termina de vez.
- Se nada se destacar depois de bastante tempo, as versões estão próximas: fique com a de melhor margem ou com o estoque mais simples.
- Refaça o teste quando a estação ou o catálogo mudar. Um vencedor de dezembro pode não vencer em junho.
Como o FlatUpsell lê um teste
No FlatUpsell, uma regra pós-compra pode ter até três produtos. O aplicativo os compara por receita por exibição e não calcula nada abaixo de vinte exibições por versão, porque abaixo disso a aproximação seria uma mentira educada.
Ele só escreve “vence” com 95% de confiança quando há duas versões, e 97,5% quando há três: os mesmos 95% divididos pela comparação extra. Abaixo disso, escreve “lidera”. O limite aparece na tela, para você poder decidir antes se aceitar o risco.