A/B-tests

Een test vergelijkt twee versies van één aanbieding. Versie A is de aanbieding zoals ze nu is. Versie B kan andere producten, een andere korting of een andere tekst aanbieden. Elke versie kan de beste combinatie bij elke bestelling verkopen in plaats van producten die u selecteert. Verkopen beide versies de beste combinatie, dan kunnen ze ook verschillen in het aantal kaarten dat ze tonen. Eén op de twee klanten ziet versie B op de pagina na aankoop, bepaald op basis van de bestelling zodat daar niemand beide ziet, en al het andere blijft voor beide versies gelijk: wie de aanbieding ziet, en wanneer.

Een test starten

1. Open de aanbieding vanuit Aanbiedingen en ga naar Wat het aanbiedt. De aanbieding moet eerst zijn opgeslagen en geactiveerd.
2. Klik onder de producten op Tweede versie testen.
3. Versie B begint als kopie van versie A. Selecteer onder Wat versie B verkoopt Producten die u selecteert of De beste combinatie bij elke bestelling. Wijzig daarna de producten, als u ze selecteert, de korting of de tekst. Verkoopt ze de beste combinatie, dan bepaalt Producten op de pagina hoeveel kaarten ze toont. Heeft de aanbieding tegenboden en toont ze de producten na elkaar, dan ziet een klant die de eerste kaart weigert een tegenbod in plaats van de volgende kaart, als er bij die bestelling een kan worden aangeboden. De kaarten na de eerste worden dan alleen getoond aan klanten die er ja op zeiden, en alleen als Blijven aanbieden nadat ze hebben geaccepteerd aanstaat.
4. Selecteer onder Hoe lang hij loopt het kleinste verschil dat de test moet kunnen vinden. Een kleiner verschil vraagt meer weergaven, en de pagina zegt ongeveer hoe lang dat duurt bij het verkeer van deze aanbieding.
5. Klik op Test starten.

Een weergave is een pagina na aankoop waarop een van de twee versies werd getoond. Een pagina waarop meerdere producten worden getoond, telt als één keer geaccepteerd wanneer de klant ten minste één van die producten accepteert, en het bedrag van elk geaccepteerd product wordt opgeteld. Uw eigen testbestellingen tellen in geen van beide versies mee, gecontroleerd vanaf het begin van de test (over de afgelopen 60 dagen in een winkel die nog geen toestemming heeft gegeven voor toegang tot al haar bestellingen). Wanneer een aanbieding in de afgelopen 30 dagen op te weinig pagina’s na aankoop is getoond, of wanneer niemand de aanbieding daar heeft geaccepteerd, begint de test vanaf het percentage van uw winkel of vanaf een typisch percentage, en wordt aangegeven welk percentage dat is en waarom. De pagina's Bedankt en Bestelstatus tonen versie A terwijl een test loopt, dus een aanbieding moet op de pagina na aankoop staan om te worden getest.

Terwijl de test loopt

• De aanbieding is vergrendeld, zodat de twee versies vergelijkbaar blijven. Om haar te bewerken, beëindigt u de test door één versie te houden.
• Een aanbieding kan niet worden gepauzeerd terwijl ze wordt getest. De test zelf wel.
• Pauzeren stopt de test: elke klant ziet versie A tot u op Hervatten klikt, en intussen wordt niets geteld.
• Elke versie heeft een vast aantal weergaven nodig, en de testkaart toont hoe ver elke versie is. Een voorsprong voordat beide versies zover zijn, is meestal toeval, dus tot dan wordt geen winnaar genoemd.
• Een test loopt ook minstens een week, zodat elke dag van de week erin zit. Klanten op zaterdag kopen niet zoals klanten op dinsdag.

Het resultaat

Zodra beide versies hun weergaven hebben en de week voorbij is, geeft de test een van de volgende twee uitkomsten aan: de ene versie heeft gewonnen op basis van het bedrag dat deze per getoonde pagina heeft opgeleverd, met ernaast het aandeel klanten dat de aanbieding heeft geaccepteerd, of er is geen echt verschil en u kunt de versie behouden die om een andere reden het beste bij u past, zoals marge of voorraad. Het laat u weten wanneer versie B slechter presteert, niet alleen wanneer deze beter presteert.

Versie A behouden beëindigt de test en versie B verdwijnt. Versie B behouden maakt de producten, de korting en de tekst van versie B tot die van de aanbieding, en versie A verdwijnt. Verkoopt versie B de beste combinatie bij elke bestelling, dan verkoopt de aanbieding na het behouden ervan de beste combinatie zoals versie B dat doet, met hetzelfde aantal kaarten, dezelfde korting en dezelfde tekst, en verdwijnen de tegenboden van de aanbieding. U kunt een test op elk moment op beide manieren beëindigen, ook voordat het resultaat er is, tenzij alle producten van versie B inmiddels uit uw winkel zijn verwijderd. Een test kan niet worden hervat waar hij stopte.

Sommige aanbiedingen kunnen niet zinvol worden getest: een aanbieding die bijna elke klant al neemt, of een die zo weinig klanten nemen dat geen test twee versies uit elkaar kan houden. De testpagina zegt dat, in plaats van een test te starten die nooit zou eindigen.