Dopo aver presentato il nostro punto di vista su cosa intendiamo per cultura dell’ottimizzazione, perché è un elemento fondamentale in una strategia di digital marketing e quali sono gli elementi indispensabili per fare CRO, ora vogliamo andare nel dettaglio a descrivere il processo collaborativo di creazione e attuazione di questa strategia.
Entriamo subito nel merito, come impostiamo un processo efficiente e scalabile di CRO?
Innanzitutto è fondamentale specificare che il processo di ottimizzazione non è lineare bensì un ciclo continuo e iterativo di analisi, ipotesi e test: così come i nostri utenti evolvono nel tempo in termini di esigenze e aspettative anche le nostre ottimizzazioni devono essere continue e mutevoli.
Prima di focalizzarsi sui singoli passaggi di questo processo è però importante capire che, perché sia efficace, è fondamentale concordare gli obiettivi e la strategia con i promotori o stakeholder di questa attività, specificando le risorse (persone, strumenti, etc.) che saranno indispensabili in questo percorso.
Spesso molti progetti partono con intuizioni di “pancia” ponderate in brainstorming, senza budget o persone dedicate e con strumenti poco adeguati. Crediamo che l’intuizione e le esperienze personali siano sempre un’ottima linfa per alimentare il processo di CRO, anche se è vero che questi elementi devono sempre essere incanalati in una strategia di business strutturata con obiettivi e flussi condivisi per produrre risultati soddisfacenti.
0 – Partire dagli obiettivi
Un processo strategico è tale se guidato da chiari KPI di business che vogliamo ottimizzare (“rendere più bello il sito” non è considerato un KPI!) e soprattutto se prende in considerazione persone e strumenti adeguati per la sua attuazione; piuttosto che iniziare a creare AB test dopo uno dei vari brainstorming, è sempre bene ricordarsi di porsi quelle domande che saranno fondamentali per convincere il management che il processo è strutturato e vincente. Qualche esempio:
Quali sono gli obiettivi aziendali e i risultati da raggiungere secondo gli stakeholder coinvolti in questo progetto? Sono misurabili?
Ipotizziamo di avere come obiettivo aziendale di fine anno quello di aumentare la revenue degli utenti mobile e la loro soddisfazione. Ci daremo quindi uno o più KPI a medio/lungo termine con delle soglie di miglioramento: revenue per session mobile +10%.
Quali unit aziendali possiamo coinvolgere nel processo? Che contributo possono dare?
Sappiamo, ad esempio, che Direct marketing/CRM, customer care e digital marketing sono unit coinvolte sul medesimo obiettivo; pertanto creeremo una task force dedicata di co-working e condivisione di informazioni e analisi, in cui confluiranno in modo sinergico gli spunti delle diverse unit coinvolte, integrandoli nelle ipotesi dei nostri test. Oltre a questo, le unit saranno chiamate a condividere evidenze tangibili provenienti dalle loro specifiche attività di analisi, (eg: Voice of Customer).
Strumenti, conoscenze, persone: cosa ci serve per strutturare il processo e validare le ipotesi?
Sappiamo che il progetto è appena partito e la maturità aziendale su questi topic è da costruire. Utilizzeremo quindi strumenti di A/B test sufficienti per avere dati comprensibili e significativi. Pensiamo che sia preferibile investire budget in strumenti di project management dedicati al progetto e alla creazione di un flusso di lavoro fluido, dinamico e collaborativo (es. co-design) piuttosto che strumenti enterprise con feature che al momento non utilizziamo.
A questo punto iniziale del progetto la parte di tracciamenti, creazione dei test e analisi dei risultati è centralizzata all’interno della unit digital marketing con un team di eccellenza formato da, ad esempio, analyst, frontend developer e designer e il nostro obiettivo diventa quello di avere un numero limitato ma costante di test mensili.
1- Analisi
Una volta chiariti gli obiettivi e le aspettative possiamo entrare nel vivo dell’azione. Come anticipato nell’articolo sugli elementi indispensabili per fare CRO “i dati sono l’inizio e la fine di tutto”, risulta fondamentale iniziare a focalizzarsi sui propri dati siano essi quantitativi o qualitativi.
Diventa così necessario saper comprendere i comportamenti sui nostri analytics — Come l’utente utilizza i filtri? Come viene utilizzata la ricerca interna? Come si differenziano i comportamenti d’acquisto tra desktop e mobile? — e al contempo integrarli con dati qualitativi derivanti sia da strumenti di heat mapping e session recording che da interviste o user test a utenti reali, feedback degli questi diretti al customer care o survey specifiche ai cluster attivi sul CRM.
Ma ci vuole tempo e risorse per le analisi…
Il valore atteso dei risultati nel processo di test sarà direttamente proporzionale all’investimento in questa prima fase: insight qualitativi e di valore sui nostri utenti creeranno ipotesi potenzialmente più efficaci e di conseguenza test impattanti sui nostri KPI.
Tutti questi elementi andranno poi a comporre la nostra knowledge base aziendale e in questo momento il team possiederà una serie di evidenze, insight o assumption che dovranno tramutarsi in ipotesi.
2- Ipotesi
Un’ipotesi è un’idea o un insight, basata su dati, a cui attribuiamo un actionable e uno o più KPI misurabili.
Facciamo un esempio: “I test hanno dimostrato come i nostri utenti mobile non riescano a comprendere la politica sui resi una volta arrivati ai prodotti. Creando un elemento specifico di reassurance vicino alla CTA potremmo ottimizzazione la percentuale di aggiunte a carrello e revenue.”
Razionalizzare quindi la knowledge base classificando le idee con actionable chiari, basati sui dati, permetterà sempre di risalire al razionale da cui si è partiti, soprattutto se diverse persone concorrono al processo e questo dura nel tempo. Per dare un metro di paragone, infatti, un flusso strutturato di analisi e razionalizzazione può avere oltre 100 ipotesi da cui partire.
Siamo arrivati al punto in cui avremo una “to do list” chiara e condivisibile di ciò che si vuole testare.
Ora non resta che chiedersi: Da dove partiamo a testare?
Ed è qua che entra in gioco la strategia CRO.
3- Strategia: stabilire una priorità alle ipotesi
Questa fase che definiamo strategia avrà l’obiettivo di mettere ordine nella “to do list” al fine di avviare un processo di testing conforme alle risorse a disposizione e alle aspettative: non è possibile pensare di testare sin da subito decine di ipotesi, è necessario iniziare linearmente dandosi delle priorità.
Per prioritizzare le nostre ipotesi diamoci un framework, una struttura di ordinamento basata su parametri concordati con tutti gli attori coinvolti e che prende in considerazione elementi quanto più oggettivi possibile nella valutazione degli impatti del test. In questo modo si cercherà di evitare che gli HiPPO (Highest Paid Person Opinion) guidino il processo e si terranno in considerazione diversi elementi nelle valutazioni di priorità, come per esempio la complessità di implementazione e non solamente l’incremento atteso.
Sebbene in rete siano reperibili facilmente moltissimi framework differenti (PIE, RICE, etc.), noi abbiamo pensato di crearne uno che unisca adeguatamente diversi criteri del settore:
Framework di prioritizzazione delle ipotesi di Webranking
Utilizzando una scala da 1 a 10 nella valutazione di ognuno di questi KPI per ognuna delle ipotesi generate e calcolandone la media è possibile sviluppare una vera e propria scaletta di test.
Posso stimare la durata dei test?
Proprio grazie ai parametri del framework, come il numero di utenti e il conversion rate dell’obiettivo primario del test, possiamo analizzare le singole ipotesi tramite un “pre-test analysis” al fine di stimare sin da subito un’ipotetica durata. Per farlo ci si può avvalere di vari tool gratuiti online che a fronte dell’inserimento dei vari parametri (utenti, conversion rate medio, miglioramento stimato) suggeriranno una durata media. Nella nostra esperienza il tempo minimo di testing consigliato rimane comunque non inferiore alle due settimane.
4- Sviluppo e test
Dopo aver scelto le nostre prime ipotesi è il momento di portare in sviluppo la variante da testare. In questo caso è importante avere una figura tecnica con buona dimestichezza di CSS, HTML e Javascript che possa agilmente adoperare lo strumento di AB testing e il suo visual editor per procedere alla creazione della variante in modalità di test. Gli strumenti sul mercato si sono evoluti nel tempo e il loro utilizzo è diventato molto intuitivo e agevole; per questo creare pagine vere e proprie sul CMS a meno che non sia strettamente necessario, potrebbe rallentare inutilmente il processo oltre a tenere conto di tutti gli aspetti di posizionamento organico.
Parallelamente allo sviluppo è fondamentale configurare lo strumento di AB test affinchè monitorati i nostri KPI e inserire tutti i tracciamenti necessari per poter affrontare efficacemente lo step successivo del processo, ovvero quello di misurazione dei risultati. Per noi è sempre meglio affiancare un tracciamento qualitativo a uno quantitativo: oltre a impostare il goal primario di misurazione ed eventuali secondari, è importante attivare heatmap o session recording dedicate al tracciamento specifico di ognuna della varianti in test, per analizzare sia il comportamento dell’utente che eventuali micro goal aggiuntivi specifici per le feature che si stanno testando (come una nuova CTA, ad esempio).
5- Post test: misurazione e ragionamenti
Arriviamo al monitoraggio e misurazione del test. Una volta live, dopo i consueti check e debug dell’esperienza, è fondamentale monitorare l’andamento anche tramite gli strumenti qualitativi implementati, in questo modo avremo la certezza di avere live elementi che non vadano a intaccare l’esperienza e, quindi, il rischio di falsare i risultati o creare frizioni disattese (per esempio nelle eventuali pagine successive).
E ora le domande di rito:
Quando un test è considerato vincente? Quando va fermato? Come si analizzano i risultati?
Questa domanda avrebbe sicuramente bisogno di un articolo a parte (o forse anche un libro!) perciò vogliamo limitarci a qualche consiglio, dettato dalla nostra esperienza e suggerirti dell’ottimo materiale disponibile in rete.
In generale per analizzare i risultati di un test pensiamo siano importanti almeno 4 fattori strettamente correlati tra loro a cui dobbiamo aggiungere un quinto rappresentato dai costi da sostenere per implementare la feature e valutare, in base al miglioramento, il nostro ROI.
Valutare un test vincente di CRO
Senza entrare nello specifico dei singoli elementi tecnici ci sono vari strumenti che permettono agilmente questo calcolo e anche la scelta di diversi metodi di calcolo statistico (es. frequentist vs bayesian); uno tra questi è sicuramente CXL da cui è possibile trovare anche varia documentazione per i dettagli tecnici di misurazione.
Visto che l’argomento è spesso ostico ti lasciamo anche una “bonus track” molto interessante sulle 10 trappole statistiche nella misurazione dei test sempre dal loro blog.
Conclusioni
Qui abbiamo voluto sintetizzare il nostro approccio strategico e al contempo pragmatico verso un processo di CRO. Ti lasciamo con le 3 indicazioni che riteniamo essere il nostro mantra:
- obiettivi aziendali chiari e misurabili.
- un processo chiaro, condiviso e oggettivo che possa creare valore ed essere scalabile nel lungo periodo.
- un team multidisciplinare che possa coprire i vari ambiti di design, misurazione e sviluppo delle varianti.
Questo articolo è stato scritto da Nicolò Pantaleoni, Digital Analytics Team Leader.
