Testes A/B

Um teste compara duas versões de uma oferta. A versão A é a oferta como está. A versão B pode oferecer outros produtos, outro desconto ou outro texto. Qualquer uma das versões pode vender a melhor combinação para cada pedido em vez de produtos que você seleciona. Quando as duas versões vendem a melhor combinação, elas também podem diferir no número de cartões que mostram. Um em cada dois clientes vê a versão B na página pós-compra, definida pelo pedido para que ninguém veja as duas ali, e todo o resto fica igual para as duas versões: quem vê a oferta, e quando.

Inicie um teste

1. Abra a oferta em Ofertas e vá para O que oferece. A oferta precisa estar salva e ativada antes.
2. Abaixo dos produtos, clique em Testar uma segunda versão.
3. A versão B começa como uma cópia da versão A. Em O que a versão B vende, selecione Produtos que você seleciona ou A melhor combinação para cada pedido. Depois altere os produtos, se você os selecionar, o desconto ou o texto dela. Quando ela vende a melhor combinação, Produtos na página define quantos cartões ela mostra. Se a oferta tem contraofertas e mostra seus produtos um depois do outro, um cliente que recusa o primeiro cartão vê uma contraoferta no lugar do próximo cartão, quando alguma pode ser oferecida naquele pedido. Nesse caso, os cartões depois do primeiro são mostrados só aos clientes que disseram sim a ele, e só quando Continuar oferecendo depois que eles aceitarem está ativado.
4. Em Quanto tempo dura, selecione a menor diferença que você quer que o teste consiga encontrar. Quanto menor, mais visualizações ela exige, e a página diz mais ou menos quanto tempo isso leva com o tráfego desta oferta.
5. Clique em Iniciar o teste.

Uma visualização é uma página pós-compra que exibiu uma das duas versões. Uma página que mostra vários produtos conta como aceita uma vez, quando o cliente aceita pelo menos um deles, e o valor de cada produto aceito é somado. Seus próprios pedidos de teste não contam em nenhuma das versões; são verificados desde o início do teste (nos últimos 60 dias em uma loja que ainda não aprovou o acesso a todos os seus pedidos). Quando uma oferta foi exibida em muito poucas páginas pós-compra nos últimos 30 dias, ou ninguém a aceitou nelas, o teste começa com a taxa da sua loja ou com uma taxa típica, e indica qual delas foi usada e por quê. As páginas de Agradecimento e de Status do pedido exibem a versão A enquanto um teste está em andamento, portanto, uma oferta precisa estar na página pós-compra para ser testada.

Enquanto ele roda

• A oferta fica bloqueada, para que as duas versões continuem comparáveis. Para editá-la, encerre o teste ficando com uma versão.
• Uma oferta não pode ser pausada enquanto está sendo testada. O teste em si pode.
• Pausar interrompe o teste: todo cliente vê a versão A até você clicar em Retomar, e nada é contado enquanto isso.
• Cada versão precisa de um número definido de visualizações, e o cartão do teste mostra quanto cada uma já tem. Uma vantagem antes de as duas versões chegarem lá costuma ser sorte, então nenhum vencedor é apontado até então.
• Um teste também roda por pelo menos uma semana, para que todos os dias da semana entrem nele. Clientes de sábado não compram como clientes de terça.

O resultado

Assim que ambas as versões tiverem suas visualizações e a semana terminar, o teste indica uma de duas coisas: uma versão venceu, com base no valor que ela adicionou por página exibida, com a porcentagem de clientes que aceitaram cada uma ao lado, ou não há diferença real e você pode manter a que for mais adequada por outro motivo, como margem ou estoque. Ele informa quando a versão B tem um desempenho pior, e não apenas quando tem um desempenho melhor.

Manter a versão A encerra o teste e a versão B sai. Manter a versão B torna os produtos, o desconto e o texto da versão B os da oferta, e a versão A sai. Quando a versão B vende a melhor combinação para cada pedido, mantê-la faz a oferta vender a melhor combinação como a versão B faz, com o número de cartões, o desconto e o texto dela, e as contraofertas da oferta saem. Você pode encerrar um teste de um jeito ou de outro a qualquer momento, antes do resultado, a menos que todos os produtos da versão B tenham sido excluídos da sua loja desde então. Um teste não pode ser retomado de onde parou.

Algumas ofertas não podem ser testadas de forma útil: uma que quase todo cliente já aceita, ou uma que tão poucos aceitam que nenhum teste conseguiria distinguir duas versões. A página do teste diz isso em vez de iniciar um teste que não terminaria.