Parliamo adesso di insensibilità alla dimensione del campione che in inglese si chiama insensitivity to sample size. In pratica è la tendenza a sottovalutare le variazioni in piccoli campioni.
Si verifica quando le persone giudicano la probabilità di ottenere una statistica campionaria senza rispetto per la dimensione del campione.
Per esempio, in uno studio i soggetti hanno assegnato la stessa probabilità alla possibilità di ottenere un’altezza media superiore a 183 centimetri in campioni di 10, 100 e 1.000 uomini. In altre parole, la variazione è più probabile in campioni più piccoli, ma le persone potrebbero non aspettarselo. Anzi: in genere non se lo aspettano.
So che la cosa potrebbe non essere molto chiara, faccio un altro paio di esempi.
Mettiamo che si svolga un sondaggio sull’operato del Presidente del Consiglio e che vengano intervistati 200 ragazzi di età compresa fra 18 e 25 anni. Se la maggioranza affermasse che il Presidente ha fatto fino a oggi un buon lavoro probabilmente i giornali del giorno dopo uscirebbero con titoli roboanti tipo “I giovani approvano il Governo” o roba simile. In realtà si tratta solo di una parte fra i pochi che sono stati intervistati. Duecento persone non sono tante ma potrebbero comunque sembrarci un numero adeguato. Dieci ci sembrerebbero troppo pochi, duemila andrebbero meglio ma comunque ci pare che duecento non siano malaccio come campione. E il problema sta esattamente qui.
C’è un altro esempio che mi piace molto e che viene fatto spesso: l’esempio dell’ospedale. Ci sono due ospedali, uno più grande e uno più piccolo. In quello più grande nascono circa 45 bambini ogni giorno, in quello più piccolo nascono circa 15 bambini ogni giorno. Diciamo che in genere il 50% dei bambini sono maschi anche se sappiamo che ovviamente questa percentuale cambia ogni giorno. Registrando i dati continuamente per un anno, quale ospedale può aver avuto più spesso giorni in cui più del 60% dei bambini nati erano maschi? Tre possibili risposte: quello più grande, quello più piccolo o più o meno lo stesso? La maggior parte delle persone dice in genere “Più o meno lo stesso”. E sbaglia. La risposta giusta è “Quello più piccolo”. È infatti statisticamente più probabile che un’anomalia simile si verifichi in un campione più piccolo che in un campione più grande.
L’insensibilità alla dimensione del campione nel marketing.
Vediamo se riesco a fare qualche esempio interessante del bias insensitivity to sample size nel marketing.
Iniziamo dalle campagne pubblicitarie. Sapete, spero, che quando si deve partire con una campagna pubblicitaria è difficile che ci si butti a capofitto a spendere soldi senza fare prima qualche esperimento che ci permetta di trovare la combinazione più efficace. Per combinazione intendo magari testo, immagine, target.
Questo metodo empirico (semplifico per esigenze di spazio, mi perdonerete) si chiama A/B testing: ne faccio più versioni e poi vedo quale funziona meglio. Fare A/B testing con un campione di utenti troppo piccolo sperando di ottenere risultati statisticamente significativi è abbastanza velleitario.
Per esempio, testare due post da sponsorizzare su un campione di 100 persone e affermare che la versione con un tasso di conversione più alto è la migliore è chiaramente una insensibilità alla dimensione del campione. È quindi un problema se si testano nuove campagne di marketing su segmenti di pubblico troppo piccoli. E senza tenere in considerazione che i risultati potrebbero non essere rappresentativi della risposta dell’intera base degli utenti.
Ma la stessa cosa si può dire per le testimonianze dei clienti. Utilizzare un numero limitato di racconti positivi di clienti soddisfatti per creare l’impressione che un prodotto o un servizio sia apprezzato da tutti è abbastanza meschino, per esempio mostrare solo cinque recensioni positive su un sito web e nascondere le recensioni negative. Sì, mostrare solo un numero molto limitato di recensioni dei propri prodotti (in genere solo quelle più fighe ed entusiastiche) per costruire a tavolino un’impressione positiva di un certo prodotto è squallido e lo fanno tutti. Magari ci sono 300 recensioni e la metà sono pessime ma tu scegli solo le 15 positive.
Anche utilizzare focus group con un numero limitato di partecipanti non è un’idea grandiosa. Se la tua azienda prende una decisione basandosi sui risultati di un focus group al quale hanno partecipato poche persone si sta fregando da sola perché le opinioni così raccolte potrebbero non rappresentare (anzi, quasi sicuramente non lo fanno) adeguatamente il mercato di riferimento.
E potrei andare avanti con altre situazioni simili ma applicate a case study, sondaggi, interviste post vendita e ricerche di mercato ma credo che abbiate capito il concetto.
Ah, un’ultima cosa: la prossima volta che vedrete una pubblicità che dice una cosa tipo “9 medici su 10 consigliano” un certo farmaco o trattamento, accendete il cervello. Risultati come questi sono totalmente privi di significato senza poter conoscere la reale dimensione del campione. È infatti molto probabile che la dimensione del campione di una pubblicità simile sia proprio 10.
L’insensibilità alla dimensione del campione nella disinformazione.
E ora passiamo allo stesso bias ma nel mondo delle fake news e simili. Farò solo pochi esempi, tanto il problema non sta purtroppo nella varietà di situazioni ma nell’incredibile frequenza con cui queste si verificano quotidianamente.
Ovviamente iniziamo dall’analisi superficiale dei dati a disposizione. Spesso chi si occupa di diffondere disinformazione conduce un’analisi molto superficiale di una serie di dati e da questa trae conclusioni precipitose o fuorvianti, il tutto senza minimamente considerare il contesto o la qualità (e quindi l’affidabilità) dei dati utilizzati.
Senza arrivare a “studi” fraudolenti (o non peer-reviewed) che magari sono perfetti per sostenere una falsa narrativa in quanto manipolati o fabbricati da zero, ci possono essere infatti tantissimi altri casi che spesso non vengono considerati e che invece hanno proprio a che fare col campione e la sua dimensione.
Non si possono scrivere articoli basati solo su pochissimi casi isolati e pensare di aver scoperto una grande verità. Quei casi non sono rappresentativi di tutta la realtà.
E non si possono condividere e citare statistiche che vengono da campioni limitati oppure non rappresentativi solamente per sostenere una certa narrativa perché quelle statistiche potrebbero chiaramente essere distorte o manipolate.
Non si possono trarre conclusioni da poche testimonianze selezionate e dare a bere agli utenti che quella cosa sia vera perché non sono rappresentative di niente.
Peggio mi sento per la gente che trae conclusioni da qualche commento trovato su Facebook o Instagram. Se ne possono far scrivere migliaia in poco tempo e con una spesa bassissima, i commenti online possono essere troppo pochi o manipolati o addirittura falsi. E comunque sono solo commenti.
La stessa solfa vale anche per chi si fa un’opinione su un certo fatto dopo aver preso in considerazione qualche caso isolato oppure eccezionale come se fosse rappresentativo di una tendenza più generale. Pensiamo a uno che scopre una frode elettorale e poi va in giro a dire a chiunque incontra che tutte le elezioni del mondo sono truccate. E vale anche per le tue storie individuali: non dimostrano nulla, non servono per un punto di vista generale, se il nipote del tuo macellaio ha avuto una reazione avversa a un vaccino non puoi affermare che i vaccini sono pericolosi per la popolazione mondiale, chiaro?
Trarre conclusioni generali basandosi su un numero limitato di storie, esempi o dati è stupido. Se due pakistani commettono un reato non puoi affermare che tutti i pakistani sono criminali. Ne riparleremo a proposito degli stereotipi e non solo.
L’insensibilità alla dimensione del campione nella vita sentimentale.
E siamo arrivati alla vita sentimentale. Qui la maggior parte delle situazioni che mi vengono in mente hanno a che fare con l’osservazione delle persone che ci circondano e con i famosi consigli che ti danno gli amici.
Ti stai fregando se ti convinci dell’inevitabilità del fallimento della tua coppia basandoti solo su pochi esempi di separazioni. La maggior parte delle relazioni non è destinata a fallire solo perché conosci alcuni amici che si sono lasciati. Così come non puoi pensare che la felicità coniugale sia una cosa garantita solo perché i tuoi amici Pruppino e Bubbetta stanno insieme da dieci anni e (davanti a te) non hanno mai litigato. Ogni situazione è un mondo a sé e se vuoi provare a giocare con le statistiche ti servirà un campione decisamente ampio.
Ti stai fregando se pensi di poter valutare la compatibilità con un’altra persona basandoti solo su pochi incontri. Devi invece considerare che la conoscenza reciproca e la scoperta di un’eventuale affinità richiedono decisamente tempo ed esperienza. Se avete cenato insieme tre volte e siete stati bene entrambi non significa un tubo. È incoraggiante ma non significa un tubo.
Ti stai fregando se pensi di aver capito come il partner reagisce a determinati stimoli, analizzando solo poche situazioni oppure situazioni particolari che possono non fare media.
E lo stesso di può dire per quei comportamenti che possono essere interpretati in modo sbagliato come dimostrazioni di interesse (o di disinteresse) nei tuoi confronti: se ti chiede “che ore sono?” non significa che le piaci, se non ti chiama venti volte non significa che non le piaci.
E ti stai fregando se prendi le tue decisioni in ambito sentimentale sulla base dei consigli di amici, parenti, esperti, rubriche del cuore, forum, social, riviste o santoni vari. Non si può valutare l’efficacia dei “consigli di coppia” basandosi su un numero limitato di testimonianze raccolte fra le persone che conosciamo. Occorre tenere in considerazione la grande varietà di esperienze che esistono.
Al contempo è follia generalizzare le esperienze individuali, ignorando la ricchezza che ci viene offerta dalle esperienze di altre persone. Non tutte le relazioni a distanza sono destinate al fallimento solo perché la mia relazione a distanza è finita male. Ma nemmeno perché sono finite male quelle di tre miei amici.
È fondamentale ascoltare gli altri (specialmente chi ti vuol bene) ma non devi mai pensare che le esperienze altrui si possano replicare sic et simpliciter. Verrebbe da dire “una rondine non fa primavera”: il campione di situazioni deve essere ampio, abbastanza ampio da non farti fregare.
Già, abbastanza ampio. E quanto sarebbe questo “abbastanza ampio”? Non lo sa nessuno con precisione, ogni campo è diverso. È difficile capirlo, molto difficile. E ci vorrebbe una certa competenza nel singolo settore per saperlo con certezza. Ecco perché devi provare a unire l’esperienza personale con quella degli altri.
Ed è necessario che tu tenga il cervello acceso quando pensi a queste cose, per non cedere alla tentazione di fare il passo più lungo della gamba e per non cadere nella fregatura (fra gli altri bias) dell’insensibilità alla dimensione del campione.
Estratto da “L’arte delle fregature 2” di Lamberto Salucco
: sottovalutare le variazioni in piccoli campioni.){kind=link}