Google ha annunciato Gemini 3.5
Google annuncia Gemini 3.5, OpenAI si prepara all'IPO, Anthropic nasconde Mythos2. Il problema: mancano metriche di impatto reale.
Google, OpenAI e Anthropic annunciano novità mentre mancano metriche di valore concreto
Poco più di una settimana fa, Gemini 3.5, la nuova famiglia di modelli di Google che promette di combinare intelligenza avanzata con capacità di azione. La scorsa settimana, la notizia che OpenAI si prepara a quotarsi in Borsa. Nelle stesse settimane, Anthropic ha svelato l’esistenza di un modello di frontiera mai rilasciato in grado di superare quasi tutti gli umani nel trovare e sfruttare vulnerabilità software. Tre mosse, un solo paradosso: più i modelli diventano potenti, meno sappiamo misurare il loro impatto reale. In un’industria ossessionata dai numeri – benchmark, parametri, token – il dato che manca è quello del valore concreto generato per aziende e utenti. Eppure è proprio su quel dato che si gioca la partita della sostenibilità economica.
Il paradosso della potenza
L’entusiasmo per gli ultimi annunci è innegabile. Google ha rilasciato Gemini 3.5 Flash, un modello che secondo l’azienda offre prestazioni di frontiera per agenti e coding, eccellendo in compiti complessi a lungo orizzonte che promettono utilità reale. La versione Pro, ancora più potente, arriverà il mese prossimo. Sul fronte creativo, già da qualche settimana è disponibile Gemini Omni, un modello capace di creare qualsiasi cosa a partire da qualsiasi input, cominciando dal video. E l’anno scorso Google aveva introdotto Nano Banana per portare l’intelligenza di Gemini nella generazione e modifica di immagini. Il messaggio è chiaro: si corre sulla potenza bruta e sulla versatilità.
Ma per un performance manager o un marketing scientist, la domanda è un’altra: tradurre questa potenza in incremento di business. Un modello che agisce “nel mondo reale” suona bene, ma senza metriche chiare di causalità resta un’ipotesi. I benchmark tradizionali – accuratezza, MMLU, HumanEval – misurano la capacità di rispondere a domande o scrivere codice, non l’impatto su conversioni, retention o ROI. Servono test geo, holdout, MMM (marketing mix modeling) e conversion modeling per separare il contributo incrementale dell’AI dal rumore di fondo. E questi metodi hanno limiti noti: i test geo richiedono tempo e scale, il conversion modeling assume che l’attribuzione sia lineare. Senza questi strumenti, “potenza” rimane una parola vuota per chi deve giustificare la spesa con i numeri.
IPO contro segreti
La distanza tra promessa tecnica e valore reale emerge con chiarezza confrontando le strategie di OpenAI e Anthropic. OpenAI, secondo il New York Times, sta preparando l’IPO di OpenAI nelle prossime settimane, lavorando con Goldman Sachs e Morgan Stanley per la documentazione. Portare i conti in piazza significa dover dimostrare ricavi, margini e traiettorie di crescita a investitori abituati a guardare oltre gli annunci. Se l’IPO andrà in porto, gli analisti potranno finalmente confrontare il costo per token con il fatturato generato per cliente: un passaggio dalla narrativa alla rendicontazione.
Dall’altra parte, Anthropic ha scelto la strada opposta: la segretezza. Con il progetto Project Glasswing ha rivelato l’esistenza di Claude Mythos2 Preview, un modello di frontiera non rilasciato che, secondo Anthropic, ha raggiunto capacità di codifica superiori a quasi tutti gli esseri umani nello scoprire e sfruttare vulnerabilità software. Un risultato impressionante, ma tenuto chiuso in laboratorio. Perché non rilasciarlo? Le ipotesi sono due: o il modello è troppo pericoloso per essere messo in produzione, oppure Anthropic non ha ancora trovato un modello di business che giustifichi il costo di un infernale deployment. In entrambi i casi, la potenza resta in gabbia. Per un marketer, un modello che non si può usare vale zero: nessun test incrementale, nessuna campagna, nessun dato di conversione.
Qui emerge una tensione profonda: mentre OpenAI si prepara a rendicontare il valore generato agli azionisti, Anthropic protegge il suo gioiello come un segreto di Stato. Chi avrà ragione? La trasparenza dell’IPO o la segretezza tecnica? Forse la risposta sta nel mezzo: se OpenAI aprirà i libri, il mercato potrà giudicare se la potenza si traduce in profitti; se Anthropic rilascerà Mythos2, potremo misurarne l’impatto. Ma finché non accade, l’unica certezza è che non abbiamo dati.
Cosa non misuriamo
Dopo aver osservato annunci e strategie, la domanda resta: quali sono gli indicatori giusti per valutare l’AI oltre la potenza dei modelli? Il marketing science insegna che la causalità non si deduce da un singolo numero. Le metriche di incremento – come il lift da test A/B o l’incrementalità calcolata con MMM – richiedono contesto, dimensioni campionarie adeguate e assunzioni statistiche che spesso non vengono dichiarate. Quando un’azienda dice “il nostro modello aumenta la produttività del 30%”, senza specificare il metodo di misurazione (era un test controllato? un before-after con seasonality?), la cifra è poco più di uno slogan.
Per un analista che deve allocare budget su canali AI-driven, la sfida è duplice: separare l’hype dal contributo reale e costruire framework di misurazione che tengano conto di effetti ritardati, interazioni cross-canale e attribuzione non lineare. Nessun modello di AI può rispondere a queste domande da solo: servono disegni sperimentali, dati granulari e trasparenza da parte dei fornitori. Ma in un mercato dove i modelli cambiano ogni settimana, la finestra per testarli si accorcia. Forse la vera domanda non è chi ha il modello più potente, ma chi riuscirà a trasformare la potenza in valore concreto, mostrando dati e metodi. Il dato più importante potrebbe essere quello che ancora non sappiamo misurare.