Warning: is_readable() [function.is-readable]: open_basedir restriction in effect. File(/usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-content/plugins/seo-ultimate/seo-ultimate.php/seo-ultimate-en_US.mo) is not within the allowed path(s): (/home/vwonl/:/usr/home/vwonl/:/tmp:/var/tmp:/usr/local/lib/php/) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php on line 329

Warning: session_start() [function.session-start]: Cannot send session cache limiter - headers already sent (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 4

Warning: Cannot modify header information - headers already sent by (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 5

Warning: Cannot modify header information - headers already sent by (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 7

Warning: Cannot modify header information - headers already sent by (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 9

Warning: Cannot modify header information - headers already sent by (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 10

Warning: Cannot modify header information - headers already sent by (output started at /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/blog/wp-includes/l10n.php:329) in /usr/home/vwonl/domains/visualwebsiteoptimizer.nl/public_html/common.php on line 12
Ik hou van A/B Testen | Visual Website Optimizer
Home | Kenmerken | Prijzen | Succesverhalen | Blog | Login
|
Ik hou van A/B Testen

ReplaceDirect, een Nederlandse klant van Visual Website Optimizer, is een succesvolle Nederlandse e-commerce site. Het is één van Nederlands grootste verkopers op het gebied van onderdelen en accessoires voor notebooks en andere mobiele apparatuur. De focus ligt daarbij op energieproducten zoals accu’s en voedingsadapters, maar het assortiment is behoorlijk uitgebreid. ReplaceDirect voerde recentelijk een A/B test uit met gebruikmaking van Visual Website Optimizer. De winnende variatie verminderde de uitstap uit de winkelwagen met 25%.

Voor e-commerce sites is de uitstap uit de winkelwagen een van de meest frustrerende aspecten die zich voordoen. Per slot van rekening is er geen enkel bedrijf dat erop zit te wachten dat een potentiële klant afhaakt nadat deze een geruime tijd in de winkel heeft rondgekeken en de juiste producten heeft uitgekozen. Gelukkig kan deze uitstap worden tegengegaan met een A/B test en deze case study laat zien hoe ReplaceDirect dit deed.Een recente studie door Forrester wees uit dat hoge verzendkosten de nummer één oorzaak vormen voor het voortijdig verlaten van de winkelwagen. Samen met andere redenen die uit het onderzoek naar voren kwamen, kan worden geconcludeerd dat bezoekers hun winkelwagen in de steek laten omdat ze onzeker zijn over bijkomende kosten, of omdat ze onplezierig verrast worden wanneer ze ontdekken (pas na het betaalproces te zijn ingegaan) dat ze eigenlijk meer moeten betalen dan ze dachten. Om zulke verrassingen te voorkomen vertelt ReplaceDirect reeds in een zeer vroeg stadium dat er geen verzendkosten worden berekend. Aldus wordt de klant duidelijk geïnformeerd vanaf het begin. Dit is precies wat ReplaceDirect wilde testen: zal de uitstap uit de winkelwagen verminderen wanneer een duidelijk besteloverzicht wordt getoond tijdens de beginstappen van de kassa procedure. ReplaceDirect testte de tweede stap van de kassa procedure.

Dit is de pagina waar klanten wordt gevraagd hun persoonlijke informatie en afleveradres in te vullen. ReplaceDirect bracht diverse veranderingen aan op deze pagina. De meest ingrijpende verandering was de toevoeging van een duidelijk besteloverzicht, inclusief product(en), prijzen en afleverdatum. ReplaceDirect vermeldt op deze pagina ook verschillende voordelen; deze werden gewijzigd ten faveure van meer relevante voordelen, speciaal afgestemd op deze stap in het bestelproces. Tenslotte werd de lay-out van de pagina en het formulier gewijzigd om een nettere indruk te geven. Verscheidene velden die niet absoluut noodzakelijk waren, werden verwijderd. Hieronder volgen de screenshots:

De originele pagina:

De variatie pagina (die het uitstappercentage verminderde met 25%):

Toen we ReplaceDirect vroegen om tips voor andere e-commerce sites, zeiden ze dit:

Probeer om de klanten precies die informatie te geven die ze op die bepaalde pagina of sectie nodig hebben, en laat al het overbodige weg. Verplaats jezelf altijd in de positie van de klant. Gemakkelijk is dit niet dus: test!

ReplaceDirect had ook nog enige mooie woorden over voor Visual Website Optimizer:

VWO was heel waardevol voor ons. Het was gemakkelijk om een test op te zetten en real-time resultaten te behalen. Daardoor was het zeer prettig om mee te werken.

We zijn heel blij dat ReplaceDirect deze geweldige resultaten heeft behaald dankzij een A/B test met onze tool.

Als u een e-commerce site beheert zonder enig A/B split testwerk te doen, laat u zeker veel geld schieten!

Tags: ,
| Posted in A/B split testen op 08.11.10 | No Comments »

Aangezien wij van mening zijn dat iedereen het maximale uit A/B testen moet halen willen wij ook het maximale halen uit de VWO tool! Daarom hebben we de Browse mode mogelijkheid ontwikkeld. Deze feature geeft je de mogelijkheid om in de visual designer je website vanuit je login/admin omgeving te browsen en tevens een test op te zetten over meerdere pagina’s. Het geeft tevens de mogelijkheid om testen op te zetten achter login-in pagina’s en of formulieren.

Bekijk onderstaande video, de video geeft een in 2 minuten weer hoe je A/B test opzet binnen Wordpress.

A/B test opzetten binnen Wordpress video

Andere mogelijkheden van de Browse optie

  • Als je een test opzet over meerdere pagina’s binnen je website, kan je nu op een makkelijke manier een preview krijgen van hoe de pagina varianten eruit zien binnen de website;
  • Vanaf nu kan je binnen een funnel test verschillende pagina’s binnen de funnel testen maar ook verschillende elementen van deze pagina’s. Bijvoorbeeld als je registratie funnel uit 3 pagina bestaat kan je generieke elemeneten zoals styling testen (met CSS) maar ook elke andere functionaliteit op de betreffende pagina’s;
  • Je kan vanaf nu een test opzetten op de check-out pagina van je bestelproces;
  • Je kan vanaf nu een test opzetten op de bevestigingspagina na een inschrijving;
  • Je kan vanaf nu op elke pagina waar een login in voor nodig is een test opzetten (bijvoorbeeld: lidmaatschappen, web applicaties, forums etc.)

Een paar technische details:

Deze manier van testen binnen formulieren met logins en sessies binnen de visual designer was best een grote uitdaging om op te zetten vanwege alle cookies die erbij betrokken zijn. Elke keer als je namelijk moet inloggen op een pagina worden er tekst bestanden (ook wel cookies genoemd) verstuurd vanaf de server, je browser verwerkt deze informatie aanvragenen stuurt ze terug naar de server. Browsers verwerken dit proces altijd perfect maar aangezien VWO pagina’s test als een proxy tussen je browser en je server kan dit proces niet heel makkelijk worden overgenomen. Dus hebben we een cookie bewaar systeem ontwikkeld binnen de VWO tool. We zijn erg blij at dit goed werkt, het kan echter zijn dat in sommige uitzonderlijke gevallen dit niet werkt.

Feedback

Probeer de Browse mode uit en laat ons weten wat je ervan vind!

Sinds de Visual Website Optimizer is gelanceerd hebben we continue gevraagd naar feedback om de tool zo goed te verbeteren naar jullie behoeftes. Tot nu toe had elke VWO account 1 login, en dit bracht problemen met zich mee zodra je met meerdere mensen wilt gaan testen en accounts wilt gaan delen. Daarnaast willen de meeste online marketing bureau’s en consultants een scheiding kunnen maken tussen verschillende accounts.

We zijn blij om jullie hierbij een aantal nieuwe features te presenteren. Deze zijn te vinden achter de link Account Management in je account:

Creer en beheer multiple-logins per account

Voor dezelfde account kan je vanaf nu meerdere logins creeren en deze ook eventueel een aantal beperkingen meegeven.

Hieronder het screenshot waar je dit kan opzetten:

Beperkingen zijn in hierarchie opgezet:

  • Browse: perfect voor klanten. Rapporten kunnen bekekeken worden maar je kan niets aanpassen, opzetten of verwijderen tevens geen mogelijkheid voor stopzetten of pauzeren van een test
  • Design: perfect voor je design collega’s. Je kan alleen varianten aanpassen. Geen mogelijkheid voor stopzetten of pauzeren van een test.
  • Publish: perfect voor managers. Hiermee kan je alles wat design ook kan maar je kan ook testen stopzetten of pauzeren.
  • Admin: perfect voor de account/project eigenaar. Kan alles doen wat publish kan maar kan ook nieuwe logins creeren.
  • Super-admin: perfect voor website eigenaar. Kan alles doen, inclusief het creeren van nieuwe accounts

Creeren en beheren van multiple accounts

Als je meerdere tests beheerd op verschillende websites en voor verschillende klanten dan kan het beheer hiervan echt uitdagend zijn in 1 account. VWO biedt nu de mogelijkheid om aparte accounts op te zetten voor verschillende klantenof websites.

Zie screenshot:

Door op Test Account te klikken kan je makkelijk naar een ander account overgaan.

Multiple logins voor multiple accounts

Dit is een fantastische nieuwe mogelijkheid. Je kan vanaf nu voor je klant een account opzetten met daarbij nieuwe logins voor die account alleen. Dit betekend dat je bijvorbeeld een browse login kan opzetten voor je klant zodat deze bijvorbeeld alle rapporten kan bekijken (al je andere accounts zullen niet zichtbaar zijn voor je klant). Dit is een mooie manier om rapportages met je klanten te delen zonder al je andere tests zichtbaar zijn. Uiteraard kan je zodra een klant bij je weg gaat zijn/haar account deactiveren.

Hoe vind ik deze nieuwe features?

Deze vind je onder de Account Management link in je account of klik op onderstaande icoon in je dashboard.

Feedback, Feedback, Feedback

Laat aub horen wat je van deze features vind zodat we VWO continu kunnen doorontwikkelen!

| Posted in A/B split testen, klanten, logins op 06.13.10 | No Comments »

Het grafisch tonen van informatie is een belangrijk onderdeel van een test tool zoals Visual Website Optimizer. Daarom zijn we blij om jullie onderstaande nieuwe grafieken te kunnen tonen.

Op de linker Y-as vind je de conversie ratio’s van de verschillende varianten. De rode lijn geeft de gemiddelde conversie ratio aan. De rechter X-as geeft het totaal aan conversies en bezoek aan. Tevens zie je zodra je met je muis over de punten heen gaat de resultaten van een specifieke dag.

Laat ons weten wat je van deze grafieken vind. Laat je reactie achter.

| Posted in Nieuws op 06.13.10 | No Comments »

De meest aangevraagde feature van de Visual Website Optimizer is live gezet! Nu kan iedereen meerdere doelen aan zijn of haar ABof Multivariate test koppelen. Dit was eerst niet mogelijk en moest je het doen met 1 doel per test. Met deze nieuwe feature zijn er tal van nieuwe mogelijkheden voor handen!

Voorbeeld: Stel je zet een test op voor je homepage, met de nieuwe feature kan je nu al je varianten meten op alle mogelijke doelen die je wilt. Bijvoorbeeld: aantal kliks op een link, aantal doorklikken naar een andere pagina, ingevulde formulieren, bezoek intensiteit. Op deze manier krijg je een overzicht van alle mogelijke doelen naast de verkoop/sale resultaten van een variant. Kortom vanaf nu kan je alle doelen door de hele sales funnel heen meten.

Samen met de integratie van data uit je analytics pakket zoals Google Analytics, Omniture krijg een compleet beeld van je test inclusief alle analytics kpi’s (time on site, sessions/pageviews).

VWO meet conversies, bundelt alle data en laat grafieken zien van alle doelen die ingesteld zijn. Je dient echter wel een primair doel in te stelen per test om een winnende variant te bepalen. Als extra service kan je in het pakket alle doelen een naam meegeven zodat alles zeer duidelijk en makkelijk uit de rapportage gehaald kan worden. Probeer deze nieuwe feature, het zal je zekere een aantal extra inzichten gaan geven.

VWO is continu de tool aan het verbeteren! Met deze nieuwe feature zetten we weer een stap in het verder bouwen aan de beste test tool van dit moment. Feedback en suggesties over de tool en deze nieuwe mogelijkheid zijn zeer welkom

Hoogstwaarschijnlijk is AB testen geen must do op jouw ‘to do’ lijstje. Het vereist immers veel tijd om te bedenken wat je moet gaan testen en dan nog meer tijd om varianten te (laten) maken (Gelukig neemt de VWO alle technische en integratie zaken uit handen, dus dat gaat sowieso tijd besparen). Al met al kost A/B testen je waarschijnlijk veel investering van tijd, geld en energie waarvan je rendement van te voren ook moeilijk kan inschatten. Hier zijn we het mee eens.

Echter, voor de meeste mensen, is lastig om een eerste A/B-test op te zetten. De technische ‘rompslomp’  klinkt lastig, maar dat is het echt niet en er is genoeg bewijs dat zelfs een eerste, echt eenvoudige test buitengewoon positieve resultaten kan opleveren. Hier volgt een overzicht met veel voorkomende excuses en onze weerlegging:

A/B testen kost te veel tijd (technisch, integratie)

Niet waar! Een test opzetten kost minder dan 10 minuten. Als je dit niet gelooft, bekijk dan deze Video probeer het opzetten van een test zelf (en houd een oogje op de klok).

A / B testen kost veel tijd in het bedenken van verschillende variaties

Hoewel dit waar is (en geheel terecht) voor A/B-tests waar het hele site ontwerp wordt getest, is dit zeker niet waar voor het testen van koppen, call-to-actions en andere kleine, maar belangrijke elementen op uw website. Met de WYSIWYG-editor is het maken van variaties is net zo eenvoudig als het werken met Microsoft Word (voor sommigen misschien ook een discussiepunt, maar ik denk dat Word vrij eenvoudig te gebruiken is).

Er zijn geen garanties dat ik met A/B testen resultaat behaal

Dat moeten we toegeven: er zijn geen garanties af te geven. Maar waar krijg die wel? Als je gaat starten met testen met bijvoorbeeld de VWO dan stijgt je online sales niet automatisch. Echter, wat we wel zeker weten is dat als je niets doet, je sales ook niet uit zichzelf gaat stijgen!

A/B testen zal mijn huidige conversie ratio’s verslechteren

Nee, dat zal niet gebeuren. De meest geavanceerde A/B-test tools, inclusief VWO, hebben de mogelijkheid om slecht presterende varianten meteen uit te schakelen. Dus je hoeft echt niet bang te zijn dat je huidige conversie ratio’s enorm zullen dalen bij een slechte variant, je maakt een test set-up, je leunt achterover en je neemt een kop koffie!

Ik weet wel wat wel en niet werkt!

Nee, dat weet je niet! Geloof me! Er zijn veel voorbeelden van A/B tests waar de winnende variant de underdog was. Niemand weet met zekerheid wat wel en niet gaat werken voor een specifieke website. Natuurlijk mag je als je zeker bent van een aantal aanpassingen, jouw variant gaan testen tegen je huidige variant en hiermee laten zien dat je de expert bent! Maar pas op! Dit kan je reputatie enorm gaan schaden of je carriere naar een volgend niveau brengen ;-) .

Je hebt heel veel verkeer nodig!

Ja en nee. De uitkomst van je resultaten is afhankelijk van veel factoren, en dus niet alleen maar van de hoeveelheid verkeer. Met behulp van deze handige test calculator kan je heel makkelijk uitrekenen hoeveel verkeer je nodig hebt voor je test. In sommige gevallen is 300-500 bezoekers al genoeg voor een test en in andere gevallen heb je 10.000 bezoekers nodig voor het slagen van je test.

Ik ben er nog niet klaar voor!

Waarom? Heb je al bedacht wanneer je er wel klaar voor zou zijn? Wanneer je start met verkopen? Als je een miljoen bezoeker per maand hebt? Op het moment dat je klanten bestand is verdubbeld?

Antwoord: Start met testen gedurende alle fases van de ontwikkeling van je website! Nog belangrijker, als startend bedrijf is testen misschien wel het belangrijkste wat je moet doen, je hebt immers veel onbeantwoorde vragen met betrekking tot markt, product etc. Testen zal je helpen met het vinden van de antwoorden.

De belangrijkste les is hier dat je waarschijnlijk al te lang bezig bent met niet testen! Er zijn geen excuses meer! Indien je die wel denkt te hebben laat dan een reactie achter en wij zullen zorgen voor een tegen argument!

Deze blogpost introduceert de nieuwe plugin voor Google Analytics. Met deze plugin kan je gemakkelijk meerdere metrics vergelijken bij de verschillende testvarianten. Bijvoorbeeld kan je erachter komen dat een winnende variant de bouncerate aanzienlijk is verlaagd, maar dat tegelijkertijd de gemiddelde time on site ook flink gedaald is. Door de resultaten te bekijken vanuit meerdere perspectieven kan je een beter idee krijgen van het gedrag van de winnende variant.

Voor de integratie met Google Analytics met Visual Website Optimizer, dien je onze sandwich-code (hieronder in het vet getoond) in je bestaande conversiecode van Google Analytics te plaatsen (waarschijnlijk aanwezig in de footer van je website):

<script type=”text/javascript”> var pageTracker = _gat._getTracker (“XX-XXXXXX-X”); pageTracker._initData ();

if (typeof (_vis_opt_GA_track) == “functie”) (_vis_opt_GA_track (); )

pageTracker._trackPageview (); </ script>

Met andere woorden, de code in het vet (javascript-functie _vis_opt_GA_track ();) moet worden toegevoegd net voor de Google Analytics-codefragment pageTracker._trackPageview ();

Nadat je de code hebt toegevoegd, is de integratie klaar. Niks meer in te stellen, niets meer te configureren. Voor alle testen, zal de integratie met Google Analytics automatisch starten.

Om de A/B-test te zien in Google Analytics, klik je op visitors in de zijbalk en klik je vervolgens op Custom Variables. Klik vervolgens op de  id van de test (beschikbaar vanaf VWO report pagina) die overeenkomt met de test die je wilt zien. Een voorbeeld: “vwo-2″ betekent dat je het rapport krijgt dat overeenkomt met de test met id 2. In het rapport kan je de streefwaarden voor de verschillende varianten zien en kan je ook verschillende statistieken zoals weigeringspercentage, tijd op site, terugkerendbezoek, pagina’s / bezoeken, etc. vergelijken en bekijken. Zie voorbeeld hieronder:

Zoals je kan zien, hebben de verschillende varianten verschillende bounce rates en tijd op site. Als we doelen hadden geconfigureerd in GA voor deze site, hadden we de prestaties van meerdere doelen binnen de  varianten kunnen bijhouden. Tevens kunnen we een geavanceerd segment aanmaken en elke complexe analyse uitvoeren die binnen GA mogelijk is. Hoe mooi is dat!

Voordat je te enthousiast wordt, let op de volgende belangrijke punten met betrekking tot de plugin:

* de plugin werkt perfect ALLEEN als je er 1 test  op je website draait (deze beperking is omdat Google Analytics een beperkt aantal slots voor  customer variabels opslaat). Om meerdere tests tegelijk te volgen, zie de technische noot.
* De rapporten die u ziet in Google Analytics zijn indicatief, op zijn best. GA zal niet laten zien statistische significantie voor enig resultaat – dus interpreteer de resultaten voorzichtig.
* In tegenstelling tot VWO, zijn Google Analytics-rapporten niet realtime.
* U kunt de integratie-code op de gehele site zetten (zelfs op de pagina’s waar vwo is niet actief is). De plugin zal uw GA tracking niet beïnvloeden.

Technische noot: VWO gebruikt de vierde aangepaste GA de variabele slot standaard. Als u deze wilt veranderem (omdat je deze al gebruikt voor een ander doel of wilt u meerdere tests in GA meten), voeg de volgende code voor de GA-code:

<script type=”text/javascript”> var _vis_opt_GA_slot = YOUR_CUSTOM_SLOT; // een getal tussen 1-5 </ script>

Tags:
| Posted in Nieuws op 05.17.10 | 2 Comments »

Onlangs publiceerde ik een A / B split test case studie waarin een e-commerce winkel de bounce rate met 20% verlaagd. Sommige van de blog lezers waren erg ongerust over de statistische significantie van de resultaten. Hun voornaamste zorg was dat een waarde van 125-150 bezoekers per variatie niet voldoende is om betrouwbare resultaten te produceren. Deze zorg is een typisch gevolg van het hebben van oppervlakkige kennis van statistieken en wiskunde die ten grondslag ligt aan A / B (en multivariate testing). Ik schrijf dit bericht als een korte les in wiskunde zodat je nooit een conclusie trekt over de betrouwbaarheid van de test (resultaten) op basis van het aantal bezoekers.

Wat er  achter de schermen gebeurd bij A / B-tests?

Stel uw website voor als een zwarte doos met daarin ballen met twee kleuren (rood en groen) in ongelijke verhoudingen. Elke keer als een bezoeker op uw website komt pakt hij een bal uit de doos: als de bal groen is, doet hij een aankoop. Als de bal de rode kleur heeft, verlaat men de website. In dit geval beslist de zwarte doos het succespercentage van uw website.

Een belangrijk punt om hier op te merken is dat je niet in de doos kan kijken om het aantal ballen met verschillende kleuren te tellen om hiermee het werkelijke percentage te bepalen. Je kan alleen een schatting maken van het percentage op basis van de verschillende ballen die uit de doos komen. Omdat succespercentage een schatting is (of een gok), heb je altijd een marge nodig, nooit een enkele waarde. Bijvoorbeeld, wiskundig, de manier waarop je een reeks kan beschrijven:

“Op basis van de huidige informatie voorhanden varieert in 95% van de gevallen het succespercentage van mijn website tussen 4,5% -7%.”

Kortom met hoger aantal bezoekers, krijg je meer het aantal ballen inzicht en wordt je bereik smaller en zal je schatting het echte/daadwerkelijke succespercentage benaderen.

De wiskunde van de A / B-tests

Wiskundig gezien is het succespercentage vertegenwoordigd door een binomiale stochastische variabele, dit is een mooie manier om te zeggen dat een variable twee uitkomsten kan hebben: geen conversie of wel een conversie. Laten we deze variabele P noemen. Onze taak is om de waarde van p te schatten en dat doen we door n aanta testen (of het observeren van n bezoek op de website doen). Na het observeren van deze n bezoeken, berekenen we hoeveel bezoeken geresulteerd hebben in een conversie. Dat percentage (die vertaken wij van 0 tot 1 in plaats van 0% tot 100%) is het succespercentage van je website.

Stel nu je voor dat je dit experiment meerdere keer herhaalt. Het is zeer waarschijnlijk dat, door het toeval, elke keer je een andere waarde krijgt van p. Na alle (verschillende) waarden van p, krijg je een reeks voor het succespercentage (dat is wat we willen hebben voor de volgende stap van de analyse). Om te voorkomen dat je herhaalde experimenten moet doen, heeft de wiskunde heeft een handige truc bedacht. Er is een formule genaamd standaardfout, die vertelt hoeveel afwijking van het gemiddelde succespercentage (p) kan worden verwacht als dit experiment meerdere keren wordt herhaald. Hoe kleiner de afwijking, meer vertrouwen je kan hebben over de raming van echte succespercentage. Voor een gegeven succespercentage (p) en het aantal studies (n), wordt de standaardfout als volgt berekend:

Standaardfout (SE) = vierkantswortel van (p * (1-p) / n)

Zonder teveel in details te treden, om 95% meer bereik te krijgen voor je succespercentage vermenigvuldig de standaardfout waarde door 2 (of 1,96 om precies te zijn). Met andere woorden, je kan er zeker van zijn met 95% zekerheid dat je ware succespercentage ligt binnen: p% ± 2 * SE

Wat heeft dit te maken met de betrouwbaarheid van de resultaten?

Naast het berekenen van het succespercentage van je website, berekenen we ook een marge voor zijn variaties in een A / B-test. Omdat we al hebben vastgesteld (met 95% zekerheid) dat de ware succespercentage ligt binnen dat bereik, alles wat we nu in acht moeten nemen is de overlap tussen het succespercentage range van de website (controle) en de variatiant. Als er geen overlapping is, dan is de variatiant zeker beter (of slechter als de variant een lager succespercentage heeft) dan de controlegroep. Zo simpel is het.

Als bijvoorbeeld, de controle pagina een succespercentage tussen 6,5% ± 1,5% geeft en de variant resulteert in 9% ± 1%. In dit geval is er geen overlapping en kun je er zeker van zijn dat de resultaten betrouwbaar zijn.

Noem je al dat wiskunde eenvoudig?

Oke, niet echt simpel maar het is zeker intuïtief. Als u de moeite van het doen van alle wiskunde zelf wilt besparen, gebruik dan een hulpmiddel zoals Visual Website Optimizer, die automatisch al het rekenwerk voor je doet. Of, als je met de hand test (zoals met AdWords), gebruik van onze gratis A / B-test betekenis rekenmachine (http://visualwebsiteoptimizer.com/ab-split-significance-calculator)

Dus, wat is het wat je dan niet moet vergeten?

Altijd, altijd, altijd gebruik maken van een A / B-tests calculator om de juiste verklaring van de resultaten te bepalen en geen overhaaste conclusies trekken. Soms kan je significante resultaten als niet-significante resultaten bestempelen op basis van het aantal bezoekers. In een ander geval kan je denken dat de resultaten significant zijn gezien de grote aantallen bezoekers terwijl ze dat in werkelijkheid niet zijn. Het is toch handig om beide scenario’s te vermijden, vind je niet?

Stel, je wil je aanmeldingen voor je nieuwsbrief verhogen en je besluit (terecht!!) dit te doen via een A / B-test. Je hebt alles klaar staan:

* Goed omschreven probleemstelling (meer aanmeldingen voor een nieuwsbrief). Check.
* Hulpmiddelen tot uw beschikking (Visual Website Optimizer). Check.
* Goedkeuring van je IT afdeling (voor het toevoegen van conversiecode). Check.
* Spanning en het vertrouwen om een aanzienlijke verbetering te realiseren. Check.

Maar je mist nog een essentieel ingrediënt waarmee al het bovenstaande nutteloos kan worden. Dat ingrediënt is je testplan. Hypothetisch, kun je alles testen op een pagina (voettekst van het auteursrecht, je bedrijfslogo). Maar dat principe gaat uit van oneindig veel middelen en onbeperkte tijd en geduld. Wanneer je een A / B-test gaat doen, wil je je mogelijke rendement met betrekking tot de geïnvesteerde tijd in het maken en uitvoeren van de test maximaliseren. Sinds een split-test tijd kost (2-3 weken) om resultaten te zien, is het kiezen van het juiste element om te testen en het creëren van goede variaties de belangrijkste stap.

Een geweldige manier om interessante ideeën voor je A / B split of multivariate test op te doen is door te studeren en bestaande case studies te lezen. Case studies met betrekking tot uw probleem (bv. nieuwsbrief aanmelding) en uw bedrijfstak (bijvoorbeeld  financiën) die vertellen wat werd getest, welke variaties werden gecreëerd en wat het niveau van het succes laten zien. Er zijn tevens goeie case-studies die een stap verder gaan en je laten nadenken over wat we kunnen leren uit de beschreven test. Al met al, een gegarandeerde manier om tal van goede ideeën te krijgen voor uw A / B-test.

Een belangrijke waarschuwing: Kopieer nooit de resultaten van een case study, zonder deze zelf uit te voeren op je eigen website. Wat werkte voor hen hoeft niet noodzakelijk voor jou te werken, hoewel wat werkte voor hen een goede kans heeft om ook voor jou werken (maar het is nooit gegarandeerd). Dus, de beste strategie is om te leren van case studies, ideeën op te doen maar je eigen A / B-test uit te voeren op basis van alle inzichten.

Het vinden van relevante en interessante case studies is best wel moeilijk. Voor jou gemak hebben wij enkele uitstekende sites gevonden:

* ABTests.com – een opslagplaats van case studies
* Anne Hall’s WhichTestWon – een wekelijks bijgewerkt blog op A / B-test resultaten
* MarketingExperiments.com – op basis van abonnementen, maar heeft veel van gratis artikelen
* Google – gewoon zoeken naar “A / B test” “case study” stijging aanmeldingen (of downloads, verkoop, etc.)

Zoals u kunt zien zijn er meerdere bronnen voor interessante case studies. Maar het vinden van case studies met betrekking tot jouw uitdaging en branche is nog steeds moeilijk. Om je te helpen met deze taak, hebben we een interface naar case studies op type probleem en de industrie opgezet:
A / B Ideafox -  een zoekmachine voor A / B en multivariate testen split case studies

Dit is de eerste opzet van een makkelijk te gebruiken interface met toegang tot bronnen van verschillende  A / B-tests. Het zwaarste deel van een A / B test is namelijk om te komen met een goed test plan en beginners kunnen gemakkelijk de-gemotiveerd raken als ze geen positieve resultaten zien met hun eerste test.  A / B Ideafox hoopt interessante ideeën te bieden die mogelijk succesvolle resultaten kunnen geven aangezien deze  ideeën al elders geprobeerd zijn.

Tags: ,
| Posted in A/B split testen op 05.17.10 | No Comments »

Het Jaar 2010 wordt het jaar voor split testen. Waar 2008 en 2009 de jaren van Web Analytics, is het nu tijd voor haar kleine broertje om te worden gezien en gehoord. Als een middel om hypothesen en ideeën te testen op een wetenschappelijke wijze, zal split testen een integraal onderdeel worden van de bedrijfsstrategie, net als e-mail marketing, SEO en Search Advertising. Het wordt alleen nog maar belangrijker als straks de recessie over gaat en ondernemingen weer pro actief innovatieve ideeën willen en kunnen testen die gaan zorgen voor meer inkomsten en of hogere omzet per klant/bezoeker.

Waarom denken wij dat 2010 het jaar wordt een van A / B-testen?

Reden 1: een groeiend bewustzijn
Met 1.760.000 zoekresultaten op Google.com is de zoekterm “split testing” niet alleen meer een modewoord. De overgang van de vroege enthousiastelingen naar de mainstream bedrijven zal in 2010 versnellen mede dankzij blogs die gewijd zijn aan testen zoals Conversion Rate Experts, Widerfunnel, Widemile, Grockdotcom, enz., en regelmatige berichten van experts uit de industrie, zoals Avinash Kaushik, Tim Ash, etc. en natuurlijk de inspanningen van de A / B testen evangelisten, zoals Patrick McKenzie en Ben Tilly.

Reden 2: Split testen is de beste methode voor conversie optimalisatie
SEOMoz zegt dat 2010 het jaar van conversie optimalisatie wordt. En wat denk je – Split testen zit aan de start van elk optimalisatie proces. Wij kunnen geen initiatief voorstellen voor het verhogen van de website verkopen en conversies die geen gebruik gaat maken van A / B testen. Er zijn letterlijk een triljoen factoren van invloed op website conversies en als deze allemaal recht hebben op de mening van de de websitebouwer of van je baas dan wordt het een lange weg! In plaats daarvan, moet elke factor zorgvuldig getest worden, bv 1 voor 1(split testing) of meerdere factoren tegelijk (multivariate testing); bij elke test zal je succespercentage hoger worden.

Reden 3: De groei van succesvolle cases
Een gebruikelijke excuus om niet te gaan testen is een gebrek aan ideeën. Mensen die net beginnen weten vaak niet welke elementen op een website van invloed zijn op het succespercentage. Zelfs nadat ze zijn begonnen en hebben gekozen voor het testen van het juiste element op de pagina (bijvoorbeeld aanmeld knop) is er moeite om ideeën op te doen van interessante varianten. Gelukkig geven steeds meet sites zoals ABtests.com en wichtestwon.com veel leuke en interessante cases. Deze case studies zijn een uitstekend uitgangspunt voor om testen te bedenken geven een indruk welke resultaten te verwachten zijn. Kortom als je besluit om een aanmeld knop te testen gebruik te test insteken van relevante cases (uiteraard kan je je eigen creatieve ideeën ook toevoegen). Je zal uiteraard niet dezelfde test resultaten krijgen (dat is het hele ideeën van testen) maar je kan vanuit je eigen resultaten wel verder finetunen.

Reden 4: Bereikbaar, geïntegreerde, betaalbare en eenvoudig te gebruiken hulpmiddelen
Met meer dan 15  gratis A / B testen tools die beschikbaar zijn op het internet, zijn de kosten van het uit proberen van testen tot nul gereduceerd. Maar de technische complexiteit en integratie is nog steeds een groot obstakel voor veel website eigenaren. Hulpmiddelen zoals (onze eigen) Visual Website Optimizer kunnen dit oplossen, aangezien deze tools zeer makkelijk in gebruik zijn en zeer eenvoudig te installeren zijn. Hierdoor zijn nagenoeg alle belemmeringen opgelost voor het starten van de testen in uw organisatie. Daarnaast zullen deze tools (en die van ons) zich in 2010 nog verder doorontwikkelen waardoor deze nog makkelijker gebruikt kunnen worden. Ten slotte zal split testen sterk geïntegreerd worden in alle web analytics pakketten zodat het testen van een groene knop of een rode knop net zo eenvoudig wordt als het controleren van het aantal bezoekers op uw website.

De wereld maakt zich klaar om te starten met A / B-testen. Wat ga jij doen?

Heb je plannen om te starten met split testen in 2010? Wat houdt je tegen?

Al je snel wilt gaan starten met AB testen zonder vast te zitten aan ingewikkelde implementaties en niet kostbare tijd wilt verliezen voor het maken van varianten! Start dan snel met de Visual Website Optimizer.

Wij geven geen garantie dat het gebruik van deze tool zal leiden tot het herdefiniëren van je online strategie 2010 (hoewel wij hopen van harte dat het dat wel doet), maar het zal je zeker doen realiseren hoe eenvoudig het kan zijn om een A/ B-test op te zetten en hierdoor te zorgen voor het verhogen van de website verkopen, downloads, aanmeldingen, leads of conversies. Geloof ons, geef het een kans!!!

Tags: ,
| Posted in A/B split testen op 05.17.10 | No Comments »

Visual Website Optimizer

Probeer nu de beste A/B, split en multivariate test tool, die ooit is gebouwd!.

Search for

Categorie

Laatste posts

Tags

2010 A/b test case ab testen betrouwbaarheid Case studie Conversie Optimalisatie conversie percentage excuses Google Analytics plugin rapporteren statistiek statistieken testplan tutorial Visual Website Optimizer wiskundige aanpak

Tweets!