Perguntas de validação em awareness: o que medem realmente e o que não medem

No fim de quase todos os módulos de sensibilização há uma pergunta. A pessoa responde bem, o sistema regista um aprovado e o programa acrescenta um dado ao seu painel. Esse dado viaja depois até um relatório de direção sob um título tranquilizador, o dos resultados da formação. O problema surge quando alguém confunde esse número com o que realmente queria saber, que é se a organização decide melhor perante o risco. Uma pergunta de validação mede algo real, mas raramente mede isso.

A distância entre responder bem e agir bem nasce de como funciona a mente. Vale a pena olhar de perto para o que cabe no alcance de um questionário e o que fica sistematicamente de fora, porque dessa leitura depende que um programa de awareness se avalie a si próprio com dados honestos ou com uma miragem.

O que mede realmente uma pergunta de validação?

Uma pergunta de validação mede se a pessoa consegue recuperar ou reconhecer a resposta correta no momento em que lhe é perguntado. É tudo, e não é pouco. Verifica que o conteúdo deixou uma marca acessível, que perante o enunciado a pessoa sabe distinguir a opção certa das restantes.

A questão é que este ato ocorre em condições muito particulares. A pessoa sabe que está a ser avaliada, tem o tema fresco porque acabou de o ver, dispõe de toda a sua atenção para responder e as opções já vêm recortadas sobre a mesa. Nada disto se parece com o momento em que uma mensagem com urgência fingida chega a meio de uma tarefa. A pergunta capta um desempenho num contexto de exame, não uma disposição estável para se comportar de determinada maneira quando ninguém avisa que aquilo é a prova.

Porque é que passar num questionário não prevê o comportamento?

Porque saber e fazer são governados por sistemas distintos. Uma pessoa pode identificar sem erro os sinais de uma fraude num teste e cair numa equivalente semanas depois, quando a atenção está noutro lado. Já o vimos nesta mesma série, quando defendemos que o phishing não é um problema de conhecimento, mas das condições sob as quais alguém decide diante do ecrã.

Há ainda uma razão mais técnica, e tem a ver com a transferência. O que se aprende num contexto tende a ficar ancorado a esse contexto, e aparece com dificuldade em situações que não se lhe parecem. O questionário é um contexto de sala de aula: enunciado explícito, opções fechadas, um sinal claro de que é preciso pensar. O momento de risco é o oposto. Por isso um bom desempenho no primeiro diz pouco sobre o segundo, e por isso um conteúdo desenhado para mudar a conduta trabalha a transferência, não apenas a retenção.

Ler o aprovado como prova de comportamento seguro é cometer, sem querer, o mesmo erro que se comete ao interpretar mal os resultados de uma simulação, que consiste em tomar um indicador estreito pelo fenómeno completo.

O que podem medir realmente as perguntas bem desenhadas?

Uma pergunta de validação deixa de medir a memória e começa a medir a compreensão quando obriga a aplicar um critério em vez de reconhecer um dado. A diferença está no desenho. Uma pergunta que pede a definição de phishing tende a ficar no campo da memória, embora um bom desenho a possa levar mais longe. Apresentar uma mensagem ambígua e pedir que a pessoa decida como agiria e porquê tende a aproximar-se do discernimento, um passo mais perto do comportamento real. O que cada formato mede em concreto depende de como é construído.

As perguntas baseadas em cenários medem essa capacidade de raciocinar dentro de uma situação verosímil. Não garantem que a pessoa vá agir da mesma forma na sua caixa de entrada, mas ao menos exploram o mesmo tipo de operação mental que o momento de risco exige: ler sinais, ponderá-los, resolver sob alguma ambiguidade. Uma pergunta que apenas pede para recuperar uma definição nunca chega a esse terreno.

Há um segundo valor, menos óbvio, e é que responder não é um ato passivo. A psicologia cognitiva descreve o efeito de teste, estudado por Henry Roediger e Jeffrey Karpicke. Recuperar algo da memória reforça essa marca mais do que voltar a lê-la. Uma pergunta bem colocada, portanto, não só mede como consolida. Deixa de ser uma portagem no fim do módulo e passa a fazer parte da aprendizagem. Esse é o seu papel legítimo: verificar a compreensão, trazer à luz ideias erradas e fixar o que importa através do próprio ato de o recordar.

O que deve reportar um CISO ao apresentar “resultados da formação”?

A taxa de conclusão e a média de acertos são métricas de atividade e de conhecimento, não de risco. Dizem que o conteúdo foi entregue e que, em condições de exame, foi compreendido. São legítimas e convém reportá-las pelo que são, sem lhes pedir que respondam a uma pergunta a que não podem responder. Apresentá-las como prova de que a organização é mais segura inflaciona uma expectativa que o primeiro incidente se encarrega de desmentir.

A evidência do comportamento vive noutro lado. Aparece quando a pessoa enfrenta um estímulo realista sem saber que é uma prova, e é aí que uma simulação bem desenhada mede o comportamento no contexto que importa. O detalhe fino de que indicadores comportamentais convém seguir, e como lê-los sem cair em novas miragens, merece o seu próprio desenvolvimento. O que importa fixar aqui é a fronteira. A pontuação de um questionário mede que a resposta era sabida, não que se fará o correto. Um relatório honesto mantém essas duas coisas em colunas separadas.

Como a SMARTFENSE trabalha isto

Na plataforma da SMARTFENSE, as perguntas de validação vivem dentro dos exames e cumprem o papel que lhes cabe, que é verificar que o conteúdo foi compreendido e consolidá-lo através da recuperação, não fazer de substituto da conduta. Quando o desenho o pede, apoiam-se em cenários em vez de definições, para se aproximarem do tipo de discernimento que o mundo real exige.

A medição do comportamento corre por uma via distinta. As ferramentas de simulação levam a pessoa a decidir em condições parecidas com as verdadeiras, e os relatórios permitem mostrar cada coisa no seu lugar, com o que foi compreendido de um lado e o que foi feito do outro. Separá-las não é um detalhe metodológico; é a condição para que um programa saiba de verdade onde está.

Uma pergunta de validação é uma boa ferramenta enquanto lhe pedirmos o que ela pode dar. O awareness ganha precisão no dia em que deixa de perguntar quantos passaram e começa a perguntar o que está a medir cada número que reporta.