paologironi blog

Chi guarda i dati di un sito lo fa di continuo, spesso senza nemmeno accorgersene, e talvolta nota che due cose sembrano muoversi insieme.
Le pagine che stanno più in alto in SERP prendono più clic; quelle dove gli utenti restano più a lungo convertono di più; gli articoli più lunghi paiono posizionarsi meglio.
Sono intuizioni preziose, ma restano vaghe finché non rispondiamo a una domanda precisa: quanto si muovono insieme, queste coppie di numeri? E in che senso?
Serve un indice che trasformi l’impressione “vanno di pari passo” in una misura confrontabile. Quell’indice è la correlazione, ed è uno degli strumenti più usati — e più fraintesi — di tutta la statistica applicata.

Abbiamo chiuso l’articolo sul calcolatore di significatività con una promessa. Dicevamo che il p-value risponde a una sola domanda — l’effetto esiste? — e che a quella domanda, da solo, non ne aggiunge nessun’altra. Non ci dice quanto è grande l’effetto, né se vale lo sforzo di portarlo in produzione. È il momento di mantenere quella promessa, perché sono proprio le due domande che il p-value lascia in sospeso a separare chi legge i dati con metodo da chi si ferma alla prima soglia che luccica.

Le due domande hanno un nome preciso. La prima — quanto è grande? — è l’effect size. La seconda — con i dati che ho, avrei potuto vederlo, un effetto del genere? — è la potenza del test, e il ragionamento che ci porta a rispondere si chiama power analysis. Le esaminiamo una alla volta, come sempre con un esempio sotto mano.

Il nostro A/B test è arrivato alla fine: la variante B mostra un tasso di conversione più alto della variante A. La tentazione di dichiarare il vincitore e implementare la modifica è forte. Ma prima c’è una domanda a cui rispondere, ed è la stessa che attraversa tutto il nostro percorso: la differenza che osserviamo è un segnale reale o solo rumore statistico?

Questo calcolatore è il complemento naturale del calcolatore di sample size: quello lavora prima del test e ci dice quanti utenti servono; questo lavora dopo e ci dice se il risultato ottenuto è statisticamente significativo. Chi ha letto l’articolo sul test delle ipotesi riconoscerà subito il meccanismo: dietro le quinte c’è un test z per il confronto tra due proporzioni.

Leggi tutto “Calcolatore di Significatività per A/B Test”