Perché annunciare una simulazione cambia ciò che misura?
Due gruppi di persone hanno ricevuto la stessa casella di posta, con cinquanta email, metà legittime e metà di phishing. Anche il compito era identico, perché ogni partecipante doveva decidere cosa fare con ciascuna email. L’unica cosa cambiata era la consegna iniziale. Al primo gruppo è stato detto che lo studio riguardava la gestione della posta elettronica. Al secondo, che sarebbe stata valutata la sua capacità di riconoscere il phishing.
Così Parsons e colleghi hanno progettato il loro esperimento nel 2013. Il primo gruppo ha distinto il phishing appena meglio che rispondendo a caso, con un indice di 0,52 su una scala in cui 0,5 corrisponde al caso e 1 alla discriminazione perfetta. Il gruppo avvisato è arrivato a 0,72.
Le email erano le stesse. Ciò che era cambiato era quello che ciascun gruppo sapeva del test.
In psicologia e nel lavoro sperimentale, questo cambiamento è noto come reattività della misurazione, ovvero la modifica che produce in un comportamento il fatto di sapere che lo si sta misurando. In un programma di Cybersecurity awareness compare ogni volta che qualcuno riconosce una simulazione di phishing per quello che è.
Che cosa cambia quando le persone sanno di essere valutate?
Con l’avviso, il test mostra quanto bene una persona riesce a discriminare quando la sicurezza è il suo compito principale. Senza avviso, mostra cosa fa mentre è occupata in altro, che è la situazione in cui arriva un attacco reale.
L’esperimento ha lasciato anche un risultato meno evidente. Nel gruppo che non sapeva di cosa trattasse lo studio, chi aveva più formazione ha gestito meglio il phishing, come se pensasse alla sicurezza senza che nessuno glielo chiedesse. Nel gruppo avvisato quella differenza è scomparsa. L’intero gruppo è migliorato e le differenze di formazione hanno smesso di notarsi.
Un test annunciato smette di mostrare chi pensa alla sicurezza di propria iniziativa. Un programma che pianifica simulazioni deve decidere se è proprio questo ciò che vuole sapere.
Sono gli stessi autori a trarre la conclusione pratica. I risultati del gruppo non avvisato, scrivono, rappresentano meglio la prestazione reale, perché nella vita quotidiana capita di rado che qualcuno ci ricordi il rischio del phishing.
Qualcosa di simile accade quando cambia la domanda. In uno studio del 2016, le persone hanno distinto il phishing molto meglio quando è stato chiesto loro se un’email fosse fraudolenta che quando è stato chiesto cosa ne avrebbero fatto. Un test che pone solo la prima domanda si ferma alla versione più favorevole.
L’esperimento del 2013 è uno solo, condotto con studenti universitari e screenshot al posto di una casella reale, e non ho trovato una replica diretta di quella manipolazione. Lo uso per ciò che mostra del meccanismo, e la grandezza esatta resta aperta.
La reattività è sempre un problema?
No. Uno studio sul campo del 2024 con oltre quattromila dipendenti ha rilevato che buona parte dell’effetto delle simulazioni nasce dal promemoria periodico della minaccia, più che dal contenuto formativo che le accompagna. Che qualcuno guardi la propria casella con più attenzione dopo una campagna fa parte di ciò che il programma cerca.
La misurazione, in parte, è l’intervento. La stessa reattività che rende qualcuno più attento fa sì che il numero descriva una persona in allerta e non il suo comportamento abituale, e la dashboard non separa le due cose se nessuno lo decide quando progetta la campagna.
Come si legge una simulazione senza confondere il caso migliore con un giorno qualunque?
Una dashboard con il tasso di click in calo invita a festeggiare. Prima di farlo, tre decisioni aiutano a leggere bene quel numero.
- Tenere capacità e comportamento in indicatori distinti. Gli esami e qualsiasi test annunciato dicono cosa una persona sa fare quando sa di essere valutata. Le simulazioni che nessuno prevede dicono cosa fa. Gli esami degli strumenti di awareness e valutazione di SMARTFENSE misurano la prima cosa, ed è per questo che conviene riportare i due risultati separatamente invece di farne la media.
- Cercare cosa tradisce la simulazione prima di leggerne il risultato. Qualsiasi segno che compaia solo nelle simulazioni, come un banner di avviso che le email reali non hanno o una consegna che dipende da una whitelist, insegna a riconoscere il test invece dell’attacco. La configurazione tecnica che tradisce una simulazione si può verificare prima della prima campagna. Lo stesso vale per il tasso di segnalazione, perché se la simulazione si distingue dall’email reale, segnalarla misura quante persone riconoscono la simulazione.
- Non leggere un calo del tasso di click come apprendimento senza escludere il riconoscimento. Con campagne frequenti e prevedibili, un tasso in calo è compatibile con due spiegazioni, che il personale riconosca meglio il phishing oppure che riconosca meglio le simulazioni. Variare giorni, orari e difficoltà riduce la seconda. Smart Path permette di configurare in quali giorni della settimana può partire una campagna, a che ora, con quale livello di difficoltà e con quale carico mensile per persona.
Nessuna configurazione elimina la reattività. Quello che si può curare è ciò che la persona sa del test nel momento in cui risponde, che completa quanto ho esaminato nell’elenco dei «recidivi», dove la variabile era la difficoltà dell’email.
Una simulazione che tutti aspettano misura, soprattutto, che tutti la aspettavano.
Lascia un commento