¿Por qué anunciar una simulación cambia lo que mide?
Dos grupos de personas recibieron la misma bandeja de entrada, con cincuenta correos, la mitad legítimos y la mitad de phishing. La tarea también era idéntica, porque cada participante tenía que decidir qué hacer con cada correo. Lo único que cambió fue la consigna inicial. Al primer grupo le dijeron que el estudio trataba sobre la gestión del correo. Al segundo, que se iba a evaluar su capacidad para detectar phishing.
Así diseñaron su experimento Parsons y su equipo en 2013. El primer grupo distinguió el phishing apenas mejor que si hubiera respondido al azar, con un índice de 0,52 en una escala donde 0,5 es el azar y 1 la discriminación perfecta. El grupo avisado llegó a 0,72.
Los correos eran los mismos. Lo que había cambiado era lo que cada grupo sabía sobre la prueba.
En psicología y en el trabajo experimental, ese cambio se conoce como reactividad de la medición, que es la modificación que produce en una conducta el hecho de saber que se la está midiendo. En un programa de concienciación aparece cada vez que alguien reconoce una simulación de phishing por lo que es.
¿Qué cambia cuando las personas saben que las están evaluando?
Con aviso, la prueba muestra cuánto puede discriminar una persona cuando la seguridad es su tarea principal. Sin aviso, muestra qué hace mientras está ocupada en otra cosa, que es la situación en la que llega un ataque real.
El experimento dejó además un hallazgo menos evidente. En el grupo que no sabía de qué trataba el estudio, quienes tenían más formación manejaron mejor el phishing, como si pensaran en la seguridad sin que nadie se lo pidiera. En el grupo avisado esa diferencia desapareció. El grupo entero mejoró y las diferencias de formación dejaron de notarse.
Una prueba anunciada deja de mostrar quién piensa en la seguridad por su cuenta. Un programa que planifica simulaciones tiene que decidir si eso es justamente lo que quiere saber.
Los propios autores sacan la conclusión práctica. Los resultados del grupo sin aviso, escriben, representan mejor el desempeño real, porque en la vida cotidiana la frecuencia con que a alguien le recuerdan el riesgo del phishing suele ser baja.
Algo parecido ocurre cuando cambia la pregunta. En un estudio de 2016, las personas distinguieron mucho mejor el phishing cuando se les preguntó si un correo era fraudulento que cuando se les preguntó qué harían con él. Una prueba que solo pregunta lo primero se queda con la versión más favorable.
El experimento de 2013 es uno solo, hecho con estudiantes universitarios y capturas de pantalla en lugar de una bandeja real, y no encontré una replicación directa de esa manipulación. Lo uso por lo que muestra del mecanismo, y la magnitud exacta queda abierta.
¿La reactividad es siempre un problema?
No. Un estudio de campo de 2024 con más de cuatro mil empleados encontró que buena parte del efecto de las simulaciones viene del recordatorio periódico de la amenaza, más que del contenido formativo que las acompaña. Que alguien mire su bandeja con más atención después de una campaña es parte de lo que el programa busca.
La medición, en parte, es la intervención. La misma reactividad que vuelve a alguien más atento hace que el número describa a una persona en guardia y no su conducta habitual, y el tablero no separa una cosa de la otra si nadie lo decide al diseñar la campaña.
¿Cómo se lee una simulación sin confundir el mejor caso con un día cualquiera?
Un tablero con la tasa de clic en baja invita a celebrar. Antes de hacerlo, hay tres decisiones que ayudan a leer bien ese número.
- Separar capacidad y conducta en indicadores distintos. Los exámenes y cualquier prueba anunciada informan sobre lo que una persona puede hacer cuando sabe que la evalúan. Las simulaciones que nadie anticipa informan sobre lo que hace. Los exámenes de las herramientas de concienciación y evaluación de SMARTFENSE miden lo primero, y por eso conviene reportar los dos resultados por separado en lugar de promediarlos.
- Buscar qué delata a la simulación antes de leer su resultado. Cualquier marca que aparezca solo en las simulaciones, como un aviso de advertencia que los correos reales no llevan o una entrega que depende de una lista blanca, enseña a reconocer la prueba en lugar del ataque. La configuración técnica que delata una simulación se puede revisar antes de la primera campaña. Lo mismo vale para la tasa de reporte, porque si la simulación se distingue del correo real, reportarla mide cuánta gente reconoce la simulación.
- No leer una baja de la tasa de clic como aprendizaje sin descartar el reconocimiento. Con campañas frecuentes y previsibles, una tasa que baja es compatible con dos explicaciones, que el personal detecte mejor el phishing o que detecte mejor las simulaciones. Variar días, horarios y dificultad reduce la segunda. Smart Path permite configurar en qué días de la semana puede arrancar una campaña, a qué hora, con qué nivel de dificultad y con qué carga mensual por persona.
Ninguna configuración elimina la reactividad. Lo que sí se puede cuidar es qué sabe la persona sobre la prueba en el momento de responderla, que completa lo que trabajé en la lista de «reincidentes», donde la variable era la dificultad del correo.
Una simulación que todos esperan mide, sobre todo, que todos la esperaban.
Deja una respuesta