Preguntas de validación en awareness: qué miden realmente y qué no

Al final de casi todo módulo de concienciación hay una pregunta. La persona la responde bien, el sistema registra un aprobado y el programa suma un dato a su tablero. Ese dato viaja después hasta un informe de dirección bajo un título tranquilizador, el de resultados del entrenamiento. El problema aparece cuando alguien confunde ese número con lo que en realidad quería saber, que es si la organización decide mejor frente al riesgo. Una pregunta de validación mide algo real, pero rara vez mide eso.

La distancia entre responder bien y actuar bien nace de cómo funciona la mente. Vale la pena mirar de cerca qué queda dentro del alcance de un cuestionario y qué queda sistemáticamente afuera, porque de esa lectura depende que un programa de awareness se dirija a sí mismo con datos honestos o con un espejismo.

¿Qué mide realmente una pregunta de validación?

Una pregunta de validación mide si la persona puede recuperar o reconocer la respuesta correcta en el momento en que se le pregunta. Eso es todo, y no es poco. Verifica que el contenido dejó una huella accesible, que frente al enunciado la persona sabe distinguir la opción acertada de las demás.

El punto es que ese acto ocurre en condiciones muy particulares. La persona sabe que está siendo evaluada, tiene el tema fresco porque acaba de verlo, dispone de todo su foco puesto en responder y las opciones ya vienen recortadas sobre la mesa. Nada de eso se parece al momento en que un correo con urgencia fingida llega en mitad de una tarea. La pregunta captura un desempeño en un contexto de examen, no una disposición estable a comportarse de cierta manera cuando nadie avisa que es la prueba.

¿Por qué aprobar un cuestionario no predice el comportamiento?

Porque saber y hacer están gobernados por sistemas distintos. Una persona puede identificar sin error las señales de un fraude en un test y caer en uno equivalente semanas después, cuando la atención está en otra parte. Ya lo hemos visto en esta misma serie, cuando planteamos que el phishing no es un problema de conocimiento, sino de las condiciones bajo las que alguien decide frente a la pantalla.

Hay además una razón más técnica, y tiene que ver con la transferencia. Lo aprendido en un contexto tiende a quedarse anclado a ese contexto, y aparece con dificultad en situaciones que no se le parecen. El cuestionario es un contexto de aula: enunciado explícito, opciones cerradas, señal clara de que hay que pensar. El momento de riesgo es lo contrario. Por eso un buen desempeño en el primero informa poco sobre el segundo, y por eso un contenido diseñado para cambiar la conducta trabaja la transferencia, no solo la retención.

Leer el aprobado como prueba de conducta segura es cometer, sin querer, el mismo error que se comete al interpretar mal los resultados de una simulación, que consiste en tomar un indicador estrecho por el fenómeno completo.

¿Qué sí pueden medir las preguntas bien diseñadas?

Una pregunta de validación deja de medir memoria y empieza a medir comprensión cuando obliga a aplicar un criterio en lugar de reconocer un dato. La diferencia está en el diseño. Una pregunta que pide la definición de phishing suele quedarse en el recuerdo, aunque un buen diseño puede llevarla más lejos. Presentar un mensaje ambiguo y pedir que la persona decida cómo actuaría y por qué tiende a acercarse al juicio, un paso más cerca de la conducta real. Lo que cada formato mide en concreto depende de cómo esté construido.

Las preguntas basadas en escenarios miden esa capacidad de razonar dentro de una situación verosímil. No garantizan que la persona vaya a actuar igual en su bandeja de entrada, pero al menos exploran el mismo tipo de operación mental que exige el momento de riesgo: leer señales, sopesarlas, resolver bajo cierta ambigüedad. Una pregunta que solo pide recuperar una definición no llega a ese terreno.

Hay un segundo valor, menos obvio, y es que responder no es un acto pasivo. La psicología cognitiva describe el efecto de examen, estudiado por Henry Roediger y Jeffrey Karpicke. Recuperar algo de la memoria fortalece esa huella más que volver a leerlo. Una pregunta bien puesta, entonces, no solo mide sino que consolida. Deja de ser un peaje al final del módulo para volverse parte del aprendizaje. Ese es su rol legítimo: comprobar comprensión, sacar a la luz ideas equivocadas y afianzar lo importante mediante el propio acto de recordarlo.

¿Qué debería reportar un CISO al informar “resultados del entrenamiento”?

La tasa de finalización y el promedio de aciertos son métricas de actividad y de conocimiento, no de riesgo. Dicen que el contenido se entregó y que, en condiciones de examen, se comprendió. Son legítimas y conviene reportarlas por lo que son, sin pedirles que respondan una pregunta que no pueden responder. Presentarlas como evidencia de que la organización es más segura infla una expectativa que el primer incidente se encarga de desmentir.

La evidencia de conducta vive en otro lado. Aparece cuando la persona se enfrenta a un estímulo realista sin saber que es una prueba, y ahí es donde una simulación bien diseñada mide el comportamiento en el contexto que importa. El detalle fino de qué indicadores conductuales conviene seguir, y cómo leerlos sin caer en nuevos espejismos, merece su propio desarrollo. Lo que importa fijar aquí es la frontera. Un puntaje de cuestionario mide que se supo la respuesta, no que se hará lo correcto. Un informe honesto mantiene esas dos cosas en columnas separadas.

Cómo lo trabaja SMARTFENSE

En la plataforma de SMARTFENSE, las preguntas de validación viven dentro de los exámenes y cumplen el papel que les corresponde, que es comprobar que el contenido se comprendió y afianzarlo por medio de la recuperación, no hacer de sustituto de la conducta. Cuando el diseño lo pide, se apoyan en escenarios en lugar de definiciones, para acercarse al tipo de juicio que exige el mundo real.

La medición del comportamiento corre por un carril distinto. Las herramientas de simulación llevan a la persona a decidir en condiciones parecidas a las verdaderas, y los reportes permiten mostrar cada cosa en su lugar, con lo que se comprendió por un lado y lo que se hizo por el otro. Separarlas no es un detalle metodológico, es la condición para que un programa sepa de verdad dónde está parado.

Una pregunta de validación es una buena herramienta mientras se le pida lo que puede dar. El awareness gana precisión el día en que deja de preguntarse cuántos aprobaron y empieza a preguntarse qué está midiendo cada número que reporta.