Hai mai lanciato un test A/B, visto la variante B in vantaggio dopo tre giorni e deciso di chiuderlo lì? È uno degli errori più comuni, e nessuno strumento lo corregge per te. Vale la pena pensarci adesso: a gennaio Google ha annunciato che Google Optimize, lo strumento gratuito per i test usato da moltissimi siti, chiuderà il 30 settembre 2023. Prima di scegliere l’alternativa conviene rivedere il metodo.
Si parte da un’ipotesi, che è cosa diversa da un’idea. «Proviamo un pulsante verde» è un’idea. Un’ipotesi dice cosa cambi, perché e che effetto ti aspetti: «se mostriamo i costi di spedizione nella pagina prodotto, meno persone abbandoneranno il carrello, perché oggi li scoprono solo alla cassa». Scritta così, anche un test che fallisce ti insegna qualcosa.
Poi viene il campione, da calcolare prima di iniziare. Con pochi visitatori le differenze piccole non si possono misurare. Un calcolatore della dimensione del campione ti chiede il tasso di conversione attuale e il miglioramento minimo che ti interessa, e ti dice quante visite servono per variante. Se il risultato è sei mesi, testa cambiamenti più grandi o pagine con più traffico.
Il test va lasciato girare per la durata prevista, e comunque per almeno una o due settimane intere, così da includere tutti i giorni della settimana. Guardare i risultati ogni giorno e fermarsi al primo segnale positivo moltiplica i falsi vincitori. Anche troppe metriche e troppe varianti fanno danni: scegli una metrica principale in anticipo, e ricorda che ogni variante in più divide il traffico. Infine guarda i segmenti, perché una variante che vince su desktop può perdere su mobile.
Dopo Optimize
Google ha detto che punterà su integrazioni tra Google Analytics 4 e strumenti di test di terze parti. Nella scelta pesano l’impatto sulla velocità del sito, il flicker, cioè la pagina originale che si vede per un istante prima della variante, la gestione del consenso e il costo in base al traffico. Prima della chiusura esporta i risultati dei test passati.
E prendi un’abitudine che sopravvive a qualsiasi strumento: una scheda per ogni esperimento, con ipotesi, metrica, campione, durata ed esito. Archivia anche i test falliti. Fra un anno saranno la parte più utile della raccolta.
