Domande di validazione nella awareness: cosa misurano davvero e cosa no

Alla fine di quasi ogni modulo di Cybersecurity awareness c’è una domanda. La persona risponde correttamente, il sistema registra un superato e il programma aggiunge un dato alla sua dashboard. Quel dato viaggia poi fino a un report per la direzione sotto un titolo rassicurante, quello dei risultati della formazione. Il problema nasce quando qualcuno confonde quel numero con ciò che voleva davvero sapere, cioè se l’organizzazione decide meglio di fronte al rischio. Una domanda di validazione misura qualcosa di reale, ma raramente misura quello.

La distanza tra rispondere bene e agire bene nasce da come funziona la mente. Vale la pena guardare da vicino cosa rientra nella portata di un quiz e cosa ne resta sistematicamente fuori, perché da quella lettura dipende se un programma di awareness si misura con dati onesti o con un miraggio.

Cosa misura davvero una domanda di validazione?

Una domanda di validazione misura se la persona è in grado di recuperare o riconoscere la risposta corretta nel momento in cui le viene chiesto. È tutto qui, e non è poco. Verifica che il contenuto abbia lasciato una traccia accessibile, che di fronte alla consegna la persona sappia distinguere l’opzione giusta dalle altre.

Il punto è che questo atto avviene in condizioni molto particolari. La persona sa di essere valutata, ha il tema fresco perché lo ha appena visto, dispone di tutta la sua attenzione per rispondere e le opzioni arrivano già ritagliate sul tavolo. Nulla di tutto ciò assomiglia al momento in cui un messaggio con urgenza simulata arriva nel mezzo di un compito. La domanda cattura una prestazione in un contesto d’esame, non una disposizione stabile a comportarsi in un certo modo quando nessuno avvisa che quella è la prova.

Perché superare un quiz non predice il comportamento?

Perché sapere e fare sono governati da sistemi distinti. Una persona può identificare senza errori i segnali di una frode in un test e cadere in una equivalente settimane dopo, quando l’attenzione è altrove. Lo abbiamo già visto in questa stessa serie, quando abbiamo sostenuto che il phishing non è un problema di conoscenza, ma delle condizioni sotto cui qualcuno decide davanti allo schermo.

C’è inoltre una ragione più tecnica, e ha a che fare con il transfer. Ciò che si apprende in un contesto tende a restare ancorato a quel contesto, e riappare con difficoltà in situazioni che non gli assomigliano. Il quiz è un contesto d’aula: consegna esplicita, opzioni chiuse, un segnale chiaro che occorre pensare. Il momento di rischio è l’opposto. Per questo una buona prestazione nel primo dice poco sul secondo, e per questo un contenuto progettato per cambiare la condotta lavora sul transfer, non solo sulla ritenzione.

Leggere il superato come prova di comportamento sicuro significa commettere, senza volerlo, lo stesso errore che si compie interpretando male i risultati di una simulazione, ossia scambiare un indicatore ristretto per l’intero fenomeno.

Cosa possono misurare davvero le domande ben progettate?

Una domanda di validazione smette di misurare la memoria e inizia a misurare la comprensione quando obbliga ad applicare un criterio invece di riconoscere un dato. La differenza sta nel design. Una domanda che chiede la definizione di phishing tende a fermarsi al ricordo, anche se un buon design può portarla oltre. Presentare un messaggio ambiguo e chiedere alla persona di decidere come agirebbe e perché tende ad avvicinarsi al giudizio, un passo più vicino al comportamento reale. Ciò che ogni formato misura in concreto dipende da come è costruito.

Le domande basate su scenari misurano quella capacità di ragionare all’interno di una situazione verosimile. Non garantiscono che la persona agirà allo stesso modo nella propria casella di posta, ma almeno esplorano lo stesso tipo di operazione mentale che il momento di rischio richiede: leggere i segnali, soppesarli, risolvere sotto una certa ambiguità. Una domanda che chiede solo di recuperare una definizione non arriva a quel terreno.

C’è un secondo valore, meno ovvio, ed è che rispondere non è un atto passivo. La psicologia cognitiva descrive l’effetto test, studiato da Henry Roediger e Jeffrey Karpicke. Recuperare qualcosa dalla memoria rafforza quella traccia più che rileggerla. Una domanda ben posta, quindi, non solo misura ma consolida. Smette di essere un pedaggio alla fine del modulo e diventa parte dell’apprendimento. Questo è il suo ruolo legittimo: verificare la comprensione, far emergere le idee sbagliate e fissare ciò che conta attraverso l’atto stesso di ricordarlo.

Cosa dovrebbe riferire un CISO quando presenta i “risultati della formazione”?

Il tasso di completamento e la media dei risultati sono metriche di attività e di conoscenza, non di rischio. Dicono che il contenuto è stato erogato e che, in condizioni d’esame, è stato compreso. Sono legittime e conviene riferirle per ciò che sono, senza chiedere loro di rispondere a una domanda a cui non possono rispondere. Presentarle come prova che l’organizzazione è più sicura gonfia un’aspettativa che il primo incidente si incarica di smentire.

L’evidenza del comportamento vive altrove. Compare quando la persona affronta uno stimolo realistico senza sapere che è una prova, ed è lì che una simulazione ben progettata misura il comportamento nel contesto che conta. Il dettaglio fine di quali indicatori comportamentali convenga seguire, e come leggerli senza cadere in nuovi miraggi, merita una trattazione a sé. Ciò che importa fissare qui è il confine. Il punteggio di un quiz misura che la risposta era nota, non che si farà la cosa giusta. Un report onesto tiene queste due cose in colonne separate.

Come lo affronta SMARTFENSE

Nella piattaforma di SMARTFENSE, le domande di validazione vivono all’interno degli esami e svolgono il ruolo che spetta loro, cioè verificare che il contenuto sia stato compreso e consolidarlo tramite il recupero, non fare da sostituto della condotta. Quando il design lo richiede, si appoggiano su scenari invece che su definizioni, per avvicinarsi al tipo di giudizio che il mondo reale esige.

La misurazione del comportamento corre su un binario distinto. Gli strumenti di simulazione portano la persona a decidere in condizioni simili a quelle vere, e i report permettono di mostrare ogni cosa al suo posto, con ciò che è stato compreso da un lato e ciò che è stato fatto dall’altro. Tenerle separate non è un dettaglio metodologico; è la condizione perché un programma sappia davvero dove si trova.

Una domanda di validazione è un buono strumento finché le si chiede ciò che può dare. La awareness guadagna precisione il giorno in cui smette di chiedersi quanti hanno superato e inizia a chiedersi cosa sta misurando ogni numero che riferisce.