Perché la tua percentuale di conformità mente anche quando segna 100%

Un responsabile della sicurezza apre la dashboard di awareness e vede un 100%. Tutti i corsi assegnati sono completati, senza eccezioni. È il numero che voleva mostrare al comitato, quello che dà tranquillità e chiude la discussione. Il problema è che quel 100% non risponde alla domanda che conta davvero: 100% di chi?

Perché una percentuale è sempre una divisione, e ciò che decide se mente o no è il numero in basso. Se quel denominatore è costruito male, puoi formare dieci persone su duecento e mostrare comunque una conformità perfetta. Il foglio di calcolo non sta sbagliando. Sta misurando con grande precisione la lista sbagliata.

Che cosa misura davvero la tua percentuale di conformità?

Quasi tutte le dashboard misurano il completamento: la quota di corsi completati sui corsi assegnati. È un numero onesto entro i propri confini. Ti dice quanta parte del compito che hai definito è arrivata al traguardo.

Ciò che quel numero non misura è la copertura: quanta parte del tuo universo reale di persone è rientrata in quel compito. La copertura è il rapporto tra a chi hai assegnato la formazione e a chi avresti dovuto assegnarla. Ed è lì che si gioca quasi tutto, perché un’organizzazione è conforme in materia di awareness quando copre le sue persone, non quando finisce una lista.

La trappola è che il completamento è facile da misurare e la copertura no. Contare i corsi finiti significa leggere un database. Sapere se l’universo che hai caricato coincide con l’organizzazione di oggi richiede di incrociare i sistemi, rivedere le nuove assunzioni, guardare aree che forse non sono mai finite nella lista. Poiché la seconda cosa è più difficile, si misura la prima e la si presenta come se fosse la seconda.

Perché formare 10 persone su 200 può mostrare il 100%?

Prendiamo il caso estremo, che aiuta a vedere il meccanismo con chiarezza. Un’azienda di duecento persone imposta la campagna annuale e ne carica dieci nella piattaforma: quelle di un’area, o quelle che qualcuno ha ricordato, o quelle che erano su una vecchia lista. Quelle dieci completano la formazione. La dashboard mostra 100%.

Il numero è vero e inutile allo stesso tempo. Dieci su dieci hanno completato; centonovanta non sono mai entrate nel conteggio. La conformità reale è del 5%, ma poiché quelle centonovanta persone non sono mai state assegnate, non figurano come in sospeso. Un elemento in sospeso è qualcuno a cui hai chiesto qualcosa e che non l’ha ancora fatto. Chi non ha mai ricevuto una richiesta non compare da nessuna parte.

È questo il punto cieco di misurare solo il completamento: la percentuale parla della lista che hai costruito, non dell’organizzazione che devi proteggere. Più la lista è piccola e ordinata, migliore appare il numero. È esattamente il contrario di quello che ti aspetteresti da una buona metrica.

Chi resta fuori dall’universo che hai costruito a mano?

Nessuno lascia fuori le persone di proposito. L’universo si restringe da solo, in silenzio, per il modo in cui viene costruito. Una lista caricata a mano è una fotografia di chi ti sei ricordato il giorno in cui l’hai fatta, e ci sono sempre assenze prevedibili.

Restano fuori chi è entrato dopo la campagna, a volte decine di persone in pochi mesi. Restano fuori le aree meno visibili alla sicurezza: le operations, gli stabilimenti, la forza vendita che lavora fuori dall’ufficio, i team che non vivono davanti a una casella di posta ma toccano comunque dati e sistemi. Restano fuori i fornitori e le terze parti con accesso, che raramente entrano nella lista dei dipendenti pur rappresentando un rischio identico. E restano fuori quelli che hanno cambiato ruolo e oggi gestiscono informazioni che la loro formazione precedente non contemplava.

Il risultato è un universo che assomiglia all’organizzazione, ma ritagliato proprio lungo i bordi dove il rischio tende a stare. La formazione si concentra dove l’attenzione c’era già, e i vuoti coincidono con i luoghi meno osservati. La percentuale, nel frattempo, continua a mostrare verde, perché conosce solo la lista.

Come appare la conformità quando l’universo si definisce da solo?

La differenza inizia prima di contare chiunque, nell’origine stessa dell’universo. Invece di caricare una lista a mano una volta all’anno, l’universo viene derivato dalla fonte che già mantieni viva, la directory dell’organizzazione, e si aggiorna quando entra qualcuno di nuovo o cambia ruolo. Smette di essere una decisione presa a gennaio e diventa un riflesso di chi lavora oggi in azienda.

Su questa base, la conformità si legge con due numeri invece di uno. La copertura ti dice quanta parte delle tue persone è effettivamente dentro il piano; il completamento ti dice quanta parte di quel piano è terminata. Un 100% di completamento su un 30% di copertura smette di essere una buona notizia e diventa ciò che è sempre stato: un segnale che mancano sette persone su dieci.

È così che intendiamo la conformità in materia di awareness in SMARTFENSE, come parte del rischio umano misurato su tutta l’organizzazione e non su un campione scelto a mano. È la stessa cosa che qualsiasi auditor si aspetta e ciò che la ISO/IEC 27001 ha in mente quando parla di awareness: non un corso erogato ad alcuni, ma un programma che copre tutti coloro che devono essere coperti.

Aiuta paragonarlo a un sondaggio. Se interpelli solo le dieci persone che ti avrebbero già dato ragione e riporti il risultato come se parlasse per tutte le duecento, il numero che ottieni è impeccabile e non significa nulla. Con la conformità funziona allo stesso modo: un campione comodo non è mai la stessa cosa del totale.

Il numero che conta non è quanti hanno completato

Una percentuale di conformità vale tanto quanto l’universo su cui è calcolata. Misurare il completamento senza misurare la copertura dà un senso di controllo che regge fino al giorno in cui qualcuno chiede delle persone che mancano, e a quel punto la risposta avrebbe già dovuto esserci. È lo stesso meccanismo per cui la conformità crolla a marzo senza che nessuno se ne accorga: un numero che si guarda di rado e da lontano.

Se vuoi vedere la conformità del tuo programma con entrambi i numeri sotto gli occhi, copertura e completamento, sul tuo universo reale e non su una lista, puoi scoprire la piattaforma o scriverci per una demo sui tuoi dati.