Fundering kring a/b testning

Hej!

Jag håller på att prova a/b testning i google adsense, vilket verkar vara ett utmärkt verktyg för mig som har begränsat med tid och ork för att orka utföra så kallad a/b testning.

Nu sitter jag och funderar över hur mycket man behöver testa innan man kan anse att en förändring är statistiskt säkerställd.
D v s hur många visningar bör jag ha och hur stor skillnad ska det vara för att det ska anses vara statistiskt säkerställt?

Som exempel: Både a och b annonserna har visats 5000 gånger och den ena har en CTR på 1,15% och den andra på 1,5%.
Är det tillräckligt många visningar och tillräckligt stor skillnad för att det ska anses vara statistiskt säkerställt?

//Mattias

Sånt här tycker jag är svårt, konfidensintervall och grejer. Jag hade absolut vart nöjd med 5000 visingar och tveklöst kört alla annonser med den som ger en CTR på 1,5% istället för den andra. När jag har A/B-testat i våra butiker så har jag inte väntat på så många svar, då hade testet fått pågå i ett år vilket jag inte har tid eller råd med. Där körde jag 100 order och såg en signifikant skillnad och då körde vi den mest lyckade versionen bara efter dessa 100 order. Så jag har egentligen inget svar, det beror helt enkelt på hur säkert svar du vill ha men med den skillnaden så är iallafall min bedömning att det är tillräckligt säkert för att du skall köra.

Jag hittade den här sidan när jag letade lite

http://www.testsignificance.com/

Där kan man knappa in sin nuvarande CTR och önskad "Confidence Level".
Provade med mitt exempel och 90% confidence level och då verkar jag hamna ganska rätt.
Om jag däremot vill upp i 95% confidence så behöver jag visa bägge annonserna ca 1400 gånder till var.

Enligt Exemplet:

"A" Conversion Rate = 1.15%

"B" Conversion Rate = 1.55%

Difference = 0.40%

Size Per Group = 4,503

Total Participants = 9,006

Confidence Level = 90%

Men jag vet som sagt inte om sidan i sig gör korrekta beräkningar efterson mina egna statistikkunskaper är alldeles för begränsade.

Man kan mäta och testa sig till döds om man vill men någonstans får man dra gränsen för hur mycket tid man skall lägga ner på det. Jag skulle som sagt köra i ditt fall, utan tveksamheter.

Jag känner mig relativt trygg när jag får 90% signifikansgrad. Du verkar ha hittat en bra kalkyltor Matte, men den som intresserar sig för matematiken bakom denna typ av beräkning har lite lästvärt här - https://developer.amazon.com/sdk/ab-...e/ab-math.html

För att kunna svara på om alternativ a är bättre än b och vice versa så måste man räkna på det, och kalkylatorn som du hänvisar till är helt ok. Testade med lite andra siffror och den ger rätt resultat.

I vetenskapliga sammanhang är det i princip alltid 95% konfidensintervall som gäller. I annat fall drar man slutsatsen att det inte är någon skillnad.

Att sätta gränsen vid 90% är ganska lite, men det krävs att man sysslat med statistik ett tag och suttit och räknat på illustrativa exempel för att inse det. Men nu handlar det om adsense och inte biologi eller liknande, och då tycker jag att man också bör tänka på en del annat.

För att man överhuvudtaget skall kunna använda liknande test och räkna på det så måste testförhållandena vara hyffsat idealiska, man bör tänka på och utesluta "confunding factors" ets etc...

För att man skall kunna sätta gränsen vid 95% och dra slutsatser så krävs det att testförhålanden är idealiska. Själva antalet visningar i sig är inte det viktigaste. Det kan ju exempelvis vara så att annons A fungerar bäst om du gör testet på en vardag, men annons B är mycket bättre på helgerna. Har du 5000 visningar på en förmiddag eller över en period av 2 veckor?.

Sedan kommer och går vissa annonsörer. Just när du körde ditt test så kanske en viss annons i formatet x ledde till relativt många klick. Men en vecka senare så har den annonsören lagt ner sin kampanj och då är det andra annonser, i andra format, som leder till fler klick.

När det gäller adsense så skulle jag gissa att det är svårt att få testet signifikant vid 95% CI just för att testförhållandena varierar ständigt. Då är det lätt att man drar ner på kraven i testet för att bevisa en skillnad som kanske egentligen inte finns. Som "icke-statistiker" finns det ofta en förbannelse att dra slutsatsen att ett statistiskt test pekar på att något är "nästan signifikant" eller att det finns en "tendens" etc. Men det är inte så man ska använda dessa uträkningar.

För att återknyta till ts inlägg, så bör man först och främst göra testet över en längre tid. Täck åtminstone in veckans alla dagar. Tänk sedan ett steg längre och titta inte enbart på siffrorna.Jag skulle exempelvis ta ett a/b-test som utfördes under semestertider jämfört med ett som utfördes en månad senare med en stor nypa salt, oavsett vilket p-värde, konfidensintervall eller "jada-jada" som ser fantastiskt bra ut.