L’aiuto automatico che alza la fiducia senza alzare la precisione

L’email arrivava da paypal.co.uk, un dominio reale di PayPal. Il pulsante principale puntava a una pagina di paypal.com che non esisteva. Chi ci cliccava non arrivava da nessuna parte, e restava a portata di mano l’unica cosa che nel messaggio funzionava davvero, un numero di telefono da chiamare. La truffa stava lì.

Un’analisi automatica ha letto quell’email ed è arrivata a una conclusione ragionevole. L’azione richiesta dal messaggio era un click, e il click non portava in nessun posto pericoloso, quindi l’email era pulita. Il sistema ha indovinato sul link e ha sbagliato sull’email.

In un esperimento del 2025 con 489 partecipanti, chi ha visto quel report ha classificato correttamente l’email nel 33,1% dei casi. Chi aveva soltanto il solito consiglio generico, senza nessuna analisi, ha risposto bene nel 66,9%. Ha indovinato il doppio delle volte.

Che il sistema sbagliasse era prevedibile, perché qualsiasi classificatore probabilistico sbaglia. Il risultato si spiega con quello che è successo intorno a quell’errore. Con un report davanti, la verifica che il programma dava per scontata ha smesso di accadere.

In perché il phishing non è un problema di conoscenza ho scritto che gran parte di queste decisioni si prende in automatico, senza deliberazione di mezzo. Adesso sopra quello stesso problema c’è un livello nuovo. Qualcosa decide prima della persona, e per di più lo dice ad alta voce. Il nome che la psicologia cognitiva dà a quello che succede dopo è automation bias.

Che cos’è l’automation bias?

È la tendenza ad accettare l’output di un sistema automatico come sostituto della ricerca attenta di informazioni, invece di trattarlo come un dato fra gli altri. Si manifesta in due forme. Una è seguire un consiglio sbagliato. L’altra è non agire perché nulla ha segnalato niente.

I due nomi contano perché le due forme non si vedono allo stesso modo dall’interno di un programma. Seguire un consiglio sbagliato lascia una decisione registrata che si può rivedere dopo. Non guardare perché nulla ha segnalato niente non lascia nulla, perché una verifica che non è avvenuta non produce alcun dato.

La distinzione arriva da una revisione sistematica del 2012 sui sistemi di supporto alle decisioni cliniche, chiusa su 74 studi, che ha misurato quanto pesa il consiglio errato. Quando il sistema sbagliava, il rischio di una decisione scorretta saliva del 26% rispetto al decidere senza di esso. Il terreno è clinico e lontano da una casella di posta, e il tratto di lavoro che si delega è lo stesso, decidere quanta attenzione merita ogni caso e quante informazioni servono prima di risolverlo.

La tendenza è già tipizzata nella norma. Il Regolamento europeo sull’IA la nomina all’articolo 14, sulla sorveglianza umana, dove chiede che chi supervisiona il sistema resti consapevole della possibile tendenza a fidarsi automaticamente o in modo eccessivo dei risultati prodotti da un sistema di IA ad alto rischio. Quell’articolo si applica ai sistemi classificati ad alto rischio, e un filtro di posta non ci rientra per definizione, quindi per un programma di Cybersecurity awareness conta il presupposto di fondo. Il legislatore dà la tendenza per prevedibile in chiunque operi un sistema, tanto da esigere che venga lavorata con quella persona.

Cosa cambia quando l’analisi sbaglia?

In media la precisione non si muove e la fiducia sì. L’email di PayPal era uno degli stimoli di un esperimento del 2025 che ha messo alla prova tre modi di aiutare a decidere, e quello è il suo risultato più scomodo, perché descrive un gruppo di persone finite più sicure dei propri giudizi senza essere migliorate.

Il disegno era semplice. Le 489 persone hanno valutato email in due giri, prima senza alcun aiuto e poi con uno di tre. Un gruppo ha ricevuto consigli generici, di quelli che girano in qualsiasi campagna. Un altro ha ricevuto un report specifico di ogni email, sempre corretto. Il terzo ha ricevuto lo stesso report con gli errori che un sistema reale commette.

Tutti e tre sono partiti dallo stesso punto, intorno a 0,78 di precisione su una scala da 0 a 1. Con i consigli generici sono saliti a 0,83. Con il report sempre corretto, a 0,93. Con il report realistico sono rimasti a 0,78, e la loro fiducia è salita da 3,52 a 3,74 su una scala da 1 a 5.

La differenza di precisione fra il gruppo dei consigli generici e quello del report realistico non ha raggiunto la significatività statistica. Un’analisi specifica di ogni email, con tutto quello che costa produrla, ha reso quanto il solito consiglio e ha lasciato le persone più sicure.

Quella media nasconde il movimento reale, perché gli errori del sistema erano concentrati in poche email. Su quella di PayPal la precisione è scesa al 33,1%. Su un’email legittima che parlava di un’offerta di tirocinio, segnalata dal report come sospetta, è scesa al 22,2% contro il 50,3% del gruppo con consigli generici.

Il meccanismo si vede guardando quale segnale ha finito per pesare. Nell’email di PayPal, chi ha risposto bene ha detto poi che era stata decisiva la classificazione come truffa, mentre chi ha sbagliato ha indicato la destinazione del link, cioè proprio il segnale che il report aveva letto male. Il report cambia l’ordine in cui si guardano i segnali dell’email, e la verifica si ferma sul dato che la macchina ha messo davanti.

L’esperimento ha misurato con un panel del Regno Unito e ha mostrato il report accanto a ogni email, mentre in un client reale bisognerebbe richiederlo, due limiti che il gruppo che lo firma dichiara.

L’esperienza protegge?

Attutisce e non protegge. L’evidenza più chiara su questo punto arriva da fuori della cybersecurity, da uno studio del 2023 in cui 27 professionisti della radiologia hanno letto mammografie accompagnate dai suggerimenti di un sistema di intelligenza artificiale.

Quando il suggerimento era corretto, i tre livelli di esperienza hanno ottenuto risultati simili, fra il 79,7% e l’82,3%. Quando il suggerimento era errato, chi aveva meno esperienza è sceso al 19,8% e chi ne aveva di più al 45,5%. L’esperienza ha dimezzato il danno, e il risultato è stato comunque un crollo.

È uno studio di laboratorio con lettura simulata, quindi tiene come dimostrazione del meccanismo più che come misura della sua dimensione. Anche con questa riserva lascia qualcosa di solido per il disegno di un programma. Se l’effetto sopravvive ad anni di formazione specifica sul compito, non si corregge con altra formazione sullo stesso compito.

In deepfake e i due modi opposti in cui fallisce un programma ho sostenuto che allenare la percezione non la rende più precisa. Qui il problema arriva da un’altra direzione e finisce allo stesso modo. La formazione migliora il giudizio di chi decide, e non cambia il peso che ha un’affermazione della macchina quando compare prima di quel giudizio.

Cosa si smette di guardare quando niente viene segnalato?

È la parte del bias che non lascia traccia, e la domanda che quasi nessuno si fa è cosa non è stato verificato nelle email in cui il sistema non ha detto niente.

Quando un filtro blocca un messaggio, c’è una decisione visibile su cui si può discutere. Quando lo lascia passare, non si vede nessuna decisione, perché l’email compare semplicemente in casella. Da lì nasce un’inferenza che nessuno formula ad alta voce e che governa comunque il comportamento, cioè che se il filtro non ha avvisato il messaggio deve andare bene.

Il silenzio del sistema dice molto meno di questo. Dice che non è stata generata un’allerta, e questo comprende il caso in cui il problema c’era e non è stato rilevato. L’automazione non ha bisogno di affermare che un’email è sicura per cambiare quello che fa chi la riceve. Basta che non dica niente, e con questo cade una verifica che prima avveniva.

È la forma di omissione che la revisione del 2012 separa dall’altra, e quella che non arriva a nessuna dashboard. In la security fatigue ho trattato l’avviso che si ripete finché non produce più risposta. Questo è il rovescio, perché qui l’avviso non c’è e la sua assenza insegna comunque qualcosa.

Quel silenzio fa qualcosa anche alla misurazione. Una simulazione ha bisogno di essere lasciata passare per poter essere consegnata, quindi arriva in caselle dove il filtro ha avuto la voce spenta, e il tasso che ne esce descrive una condizione diversa dalla giornata normale. È un’altra ragione per guardare da vicino come si consegna una simulazione prima di leggerne il tasso di click.

Cosa tocca decidere al programma

Tre decisioni cambiano posto appena si accetta che c’è un livello automatico che si pronuncia per primo.

1. Separare rilevare da verificare. Classificare bene un’email e verificare per conto proprio quello che ha detto il sistema sono due cose distinte, e una percentuale di precisione le mescola. Chi ha controllato il mittente e chi ha accettato un verdetto automatico in un giorno in cui era corretto risultano identici nella dashboard. La lettura utile sta nei casi in cui quel verdetto era sbagliato, perché è l’unico momento in cui la verifica cambia il risultato. Quella verifica non si può osservare direttamente. Quello che si osserva è che qualcuno corregga una raccomandazione sbagliata, e questa è l’evidenza più accessibile che ci sia stato un controllo autonomo.
2. Mostrare il segnale su cui il verdetto si regge. Nell’esperimento, chi ha lavorato con report senza errori si è appoggiato soprattutto a segnali concreti, come controllare se il dominio di chi inviava l’email corrispondeva all’organizzazione che il messaggio diceva di rappresentare. Quando il livello automatico mostra soltanto la sua conclusione, chi la legge non ha niente con cui confrontarla. Quando mostra il segnale su cui si è basato, lascia un’affermazione che si verifica in pochi secondi.
3. Dare una conseguenza visibile alla correzione della macchina. Quando qualcuno segnala qualcosa che il filtro ha lasciato passare e poi non succede niente, il silenzio del filtro pesa un po’ di più la volta dopo. Quel circuito, visto dal lato operativo, è sviluppato in l’abitudine a segnalare senza risposta.

La piattaforma di SMARTFENSE risolve di serie una parte di quelle tre decisioni. Il pulsante di segnalazione di phishing restituisce un riconoscimento istantaneo quando la segnalazione riguardava una simulazione, così in quel caso la risposta arriva sul momento e non resta in attesa che qualcuno la scriva. E l’hub dei report contiene le curve di risposta all’attacco, che mostrano quanto velocemente cade l’organizzazione rispetto a quanto velocemente segnala, insieme alla finestra di esposizione di ogni campagna.

Lo stesso hub contiene Smart Triage, che classifica per livello di rischio le email segnalate. È esattamente il tipo di livello che questo articolo sta guardando con attenzione, quindi vale la pena dirlo apertamente. Una classificazione così ordina il lavoro del team di risposta e funziona meglio letta come una priorità che come una sentenza.

Un livello automatico che sbaglia poco è più difficile da controllare di uno che sbaglia molto, perché quasi mai dà motivi per dubitarne. Quello che il programma controlla davvero è quanto del ragionamento di quel livello resta in vista.