Quando puoi confrontare il tuo tasso di click con quello dell’anno scorso

Supponiamo che un’organizzazione abbia fatto tre simulazioni di phishing negli ultimi due anni e abbia ottenuto tassi di click del 18%, dell’11% e del 6%. Nella slide per il comitato, le tre barre sembrano una curva che scende, finché qualcuno chiede se sono state misurate sullo stesso universo di persone e nelle stesse condizioni. Se la risposta è no, quelle tre barre non mostrano una tendenza.

Sostengo da tempo che l’unico benchmarking che vale è quello che un’organizzazione fa con sé stessa. Quel confronto funziona solo se il tasso di click delle simulazioni di phishing si misura sempre nelle stesse condizioni.

Cosa rende due tassi di click delle simulazioni di phishing non confrontabili?

Ci sono cinque condizioni che cambiano facilmente tra una simulazione e la successiva.

1. L’universo. Se la simulazione passa da una parte dell’organizzazione a tutta, o da un’area a un’altra, il tasso misura un altro gruppo di persone. Il normale ricambio di ingressi e uscite non interrompe la serie, ma si registra a ogni edizione.
2. La finestra. Una simulazione registra l’attività finché non scade. Una che resta aperta tre giorni e una che resta aperta sette non raccolgono gli stessi click.
3. La difficoltà. Un avviso generico di pacco in giacenza e un’email che si spaccia per un fornitore noto, con contesto interno, non misurano la stessa cosa. Secondo il NIST, nel presentare la sua Phish Scale, un tasso basso può dipendere da un’email troppo facile, senza un contesto rilevante o simile a un esercizio precedente, e leggerlo senza conoscere la difficoltà può creare un falso senso di sicurezza.
4. Il denominatore. Dividere per le persone assegnate non dà lo stesso risultato che dividere per le email effettivamente arrivate, e la consegna può cambiare il tasso di click senza che cambi alcun comportamento. Con l’invio a campione, il denominatore deve comprendere solo le persone che hanno ricevuto la simulazione.
5. I falsi positivi. Antivirus e sandbox che aprono i link per analizzarli generano falsi positivi, click che nessuna persona ha fatto. Se una misurazione li esclude e un’altra no, o se cambia lo strumento che analizza la posta, i due tassi contano click diversi.

Se cambia una qualsiasi delle cinque, la differenza tra due tassi mescola quel cambiamento con i progressi del programma, e non si possono più separare.

Perché una sola misurazione non basta?

Anche con le cinque condizioni fisse, due misurazioni consecutive non danno esattamente lo stesso risultato, perché il comportamento delle persone varia da una settimana all’altra. Per questo la differenza tra due edizioni dice poco da sola, e ciò che si legge è la tendenza di più edizioni.

L’invio a campione permette di misurare con frequenza e costruire quella serie. A ogni edizione, la simulazione raggiunge una percentuale fissa delle persone destinatarie della campagna, scelte a caso a ogni invio. Così si può misurare, per esempio, ogni trimestre senza inviare ogni simulazione a tutta l’organizzazione, e ogni edizione aggiunge un punto alla serie.

Per leggere bene quella serie bisogna tenere conto di due cose:

• Dato che le persone sono scelte a caso, il tasso del campione è una stima del tasso di tutte le persone destinatarie. Estrarre di nuovo a ogni edizione distribuisce le simulazioni ed evita che la serie dipenda sempre dallo stesso gruppo.
• Il margine di quella stima dipende da quante persone include il campione. Il 5% di un’organizzazione di 20.000 persone corrisponde a 1.000 persone, e il margine è di circa 2 punti. Il 20% di una di 200 corrisponde a 40, ogni click sposta il tasso di 2,5 punti e il margine è di circa 9. In un’organizzazione piccola serve una percentuale più alta o l’invio a tutte le persone.

Che cos’è una baseline di phishing e cosa bisogna tenere fisso?

Una baseline di phishing è la prima misurazione di quante persone cadono in una simulazione, fatta registrandone le condizioni per poterle ripetere. Le misurazioni successive formano una serie che parte da lì, e se le condizioni restano uguali, la tendenza di quella serie riflette i progressi del programma.

Alle cinque condizioni se ne aggiunge una sesta quando si misura con l’invio a campione, cioè la percentuale del campione. Prima di lanciare la prima simulazione della serie, registra tutte e sei e mantienile in ogni edizione.

Condizione	Cosa resta uguale	Cosa cambia a ogni edizione
Universo	Lo stesso insieme di persone destinatarie	Il normale ricambio di ingressi e uscite, che si registra
Campione	La stessa percentuale di invio a campione	Le persone scelte a caso
Finestra	Lo stesso numero di giorni di apertura	La data di inizio
Difficoltà	Un livello equivalente	Lo scenario
Denominatore	Lo stesso calcolo	Niente
Falsi positivi	Lo stesso filtro	Niente

Lo scenario è ciò che cambia di proposito. Se si ripete, la seconda edizione misura il ricordo della prima.

Come si ripete una misurazione in SMARTFENSE?

Per ripetere una misurazione, duplica la campagna dall’elenco delle campagne o dalla sua pagina di dettaglio. Gli strumenti di simulazione di attacchi di ingegneria sociale di SMARTFENSE copiano la configurazione della campagna originale, con i suoi scenari, le sue persone destinatarie, la percentuale di invio a campione e la durata. Prima di lanciarla, sostituisci gli scenari con altri di difficoltà equivalente.

Per verificare che due edizioni abbiano avuto la stessa difficoltà, controlla la colonna «Difficoltà del contenuto» nel dettaglio della campagna, dove si vede quale livello ha ricevuto ciascuna persona. La piattaforma, inoltre, rileva e nasconde i falsi positivi, così il filtro resta lo stesso tra un’edizione e l’altra. Se cambia lo strumento che analizza la posta, registralo insieme alle altre condizioni.

Cosa si presenta al comitato?

Con le condizioni registrate, la domanda del comitato ha una risposta. Ciò che si presenta è la serie di misurazioni equivalenti, con le loro condizioni, la dimensione del campione e il suo margine. Per esempio, la slide può dire che nelle ultime quattro edizioni il tasso è stato del 14%, del 12%, del 10% e del 7%, in simulazioni di difficoltà media, aperte cinque giorni, su un campione casuale del 20% delle persone destinatarie (circa 600 persone per edizione, con un margine di circa 2,5 punti), con lo stesso denominatore e i falsi positivi filtrati.

Il confronto con l’anno scorso vale se le due misurazioni fanno parte della stessa serie. Nella stessa slide vanno il tasso di segnalazione e i tempi delle segnalazioni, misurati nelle stesse condizioni, perché il tasso di click da solo non basta per sapere se il programma funziona.

Se l’universo è cambiato in modo sostanziale, la serie si interrompe e lo si dice. Una fusione, una riorganizzazione o l’ingresso di una controllata giustificano una nuova baseline, e confrontarla con la serie precedente come se nulla fosse cambiato toglie credibilità a ciò che si presenterà dopo. Lo stesso vale se le misurazioni precedenti non sono state fatte così, e in quel caso la prossima simulazione è la nuova baseline.

Se vuoi vedere come si duplica una campagna e si configura l’invio a campione, puoi richiedere una demo della piattaforma.