I marketer non sanno misurare l’ecommerce AI

Il 35% di Walmart misura una correlazione, non un effetto causale: mancano gruppo di controllo e randomizzazione

Il 35% in più di valore medio ordine per chi usa Sparky, l’assistente AI di Walmart, suona come la prova che l’intelligenza artificiale riempie i carrelli. Ma è un confronto tra chi sceglie di usare un assistente conversazionale e chi non lo fa: nessun gruppo di controllo, nessuna randomizzazione. Chi clicca su Sparky è probabilmente già più intenzionato all’acquisto.

Quel 35% misura una correlazione, non un effetto causale.

E mentre i rivenditori celebrano i primi numeri, la metrica più pericolosa è il divario tra la pressione a usare l’AI e la formazione necessaria per misurarla.

Il 35% in più di carrello è solo l’inizio di un equivoco di misurazione.

La correlazione che sembra causalità

Meno di un anno dopo che ChatGPT ha minacciato di spazzare via l’ecommerce, i grandi rivenditori stanno costruendo i propri assistenti AI per la ricerca e l’acquisto. Amazon e Kroger hanno già inserito annunci pubblicitari negli assistenti AI. Questi strumenti sono nascenti, ma i rivenditori vedono un successo iniziale: la ricerca AI starebbe generando ordini più grandi rispetto alla ricerca tradizionale. A maggio, il CEO di Walmart John Furner ha dichiarato che i clienti che usano l’assistente Sparky hanno un valore medio ordine superiore del 35%. A luglio, il 44% delle sessioni dell’app che hanno utilizzato Alexa for Shopping ha portato a una vendita, secondo Sensor Tower. La percentuale è salita rispetto al 34% di luglio 2025, quando Amazon usava il precedente assistente AI Rufus.

Nessuno di questi numeri distingue l’effetto dell’assistente dall’effetto dell’utente che già aveva intenzione di comprare. Per un performance manager, è la differenza tra un canale che ruba conversioni a un altro e un canale che le genera davvero.

Il marketer che non sa misurare l’AI

Secondo l’indagine NewtonX per ADWEEK, condotta su 500 professionisti, l’81% degli intervistati ritiene che i marketer sovrastimino le proprie competenze AI. Il 47% crede che la leadership senior sia meno preparata degli altri livelli. Uno studio Gartner citato da ADWEEK rileva che solo il 15% dei CEO considera i propri CMO in possesso delle competenze AI per guidare nel 2026. Lizzy Foo Kune ha descritto la trappola dei CMO nel pensare che l’AI non ridisegnerà i loro ruoli.

Il rischio non è solo organizzativo: un marketer che non capisce il modello attribuisce risultati che non sa interpretare. Il 44% di conversione di Alexa for Shopping potrebbe essere in parte spiegato da un bias di selezione. Ma chi non ha mai visto un test di incrementalità non se lo chiede.

Spinti a usare l’AI, ma non formati

La ricerca di NewtonX per ADWEEK ha coinvolto un campione di 500 marketer. Il 69% di loro ha dichiarato che la propria azienda esercita una forte pressione all’adozione dell’IA. Ma il 43% non ha ricevuto. Kikoff, ad esempio, organizza per i dipendenti, con i suoi AI Days dedicati a casi d’uso per la produttività e alla conformità.

La domanda che resta aperta non è se l’ecommerce AI funzioni, ma come separare l’incremento reale dal travaso di conversioni. Servono test con gruppi di controllo, holdout, forse modelli di conversione che tengano conto dell’esposizione all’assistente. Senza queste misure, continueremo a leggere il 35% di Walmart come un successo dell’AI, quando potrebbe essere solo la prova che gli utenti più motivati usano l’AI.