Um responsável de segurança abre o painel de sensibilização e vê um 100%. Todos os cursos atribuídos estão concluídos, sem exceções. É o número que queria mostrar ao comité, o que traz tranquilidade e encerra a conversa. O problema é que esse 100% não responde à pergunta que importa: 100% de quem?
Porque uma percentagem é sempre uma divisão, e o que decide se mente ou não é o número de baixo. Se esse denominador estiver mal construído, podes formar dez pessoas em duzentas e ainda assim mostrar uma conformidade perfeita. A folha de cálculo não está a falhar. Está a medir com grande precisão a lista errada.
O que mede realmente a tua percentagem de conformidade?
Quase todos os painéis medem a conclusão: a proporção de cursos concluídos sobre os cursos atribuídos. É um número honesto dentro da sua própria fronteira. Diz-te que parte da tarefa que definiste chegou ao fim.
O que esse número não mede é a cobertura: que parte do teu universo real de pessoas ficou dentro dessa tarefa. A cobertura é a proporção entre a quem atribuíste formação e a quem devias tê-la atribuído. E é aí que quase tudo se decide, porque uma organização cumpre em matéria de sensibilização quando cobre as suas pessoas, não quando termina uma lista.
A armadilha é que a conclusão é fácil de medir e a cobertura não. Contar cursos terminados é ler uma base de dados. Saber se o universo que carregaste coincide com a organização de hoje exige cruzar sistemas, rever as novas admissões, olhar para áreas que talvez nunca tenham chegado à lista. Como o segundo é mais difícil, mede-se o primeiro e apresenta-se como se fosse o segundo.
Porque é que formar 10 em 200 pode mostrar 100%?
Pensemos no caso extremo, que ajuda a ver o mecanismo com clareza. Uma empresa de duzentas pessoas monta a campanha anual e carrega dez na plataforma: as de uma área, ou as que alguém se lembrou, ou as que estavam numa lista antiga. Essas dez concluem a formação. O painel mostra 100%.
O número é verdadeiro e inútil ao mesmo tempo. Dez em dez concluíram; cento e noventa nunca entraram na conta. A conformidade real é de 5%, mas como essas cento e noventa pessoas nunca foram atribuídas, não figuram como pendentes. Um pendente é alguém a quem pediste algo e que ainda não o fez. Quem nunca recebeu um pedido não aparece em lado nenhum.
Este é o ponto cego de medir apenas a conclusão: a percentagem fala da lista que construíste, não da organização que tens de proteger. Quanto mais pequena e arrumada for a lista, melhor parece o número. É exatamente o contrário do que esperarias de uma boa métrica.
Quem fica de fora do universo que montaste à mão?
Ninguém deixa pessoas de fora de propósito. O universo estreita-se sozinho, em silêncio, pela forma como é construído. Uma lista carregada à mão é uma fotografia de quem te lembraste no dia em que a fizeste, e há sempre ausências previsíveis.
Ficam de fora os que entraram depois da campanha, por vezes dezenas em poucos meses. Ficam de fora as áreas menos visíveis para a segurança: as operações, a fábrica, a força de vendas que trabalha fora do escritório, as equipas que não vivem à frente de uma caixa de correio mas mexem na mesma em dados e sistemas. Ficam de fora os prestadores e terceiros com acesso, que raramente entram na lista de colaboradores apesar de representarem um risco idêntico. E ficam de fora os que mudaram de função e hoje gerem informação que a sua formação anterior não contemplava.
O resultado é um universo que se parece com a organização, mas recortado precisamente ao longo das margens onde o risco costuma estar. A formação concentra-se onde a atenção já estava, e os buracos coincidem com os lugares menos observados. A percentagem, entretanto, continua a mostrar verde, porque só conhece a lista.
Como se vê a conformidade quando o universo se define sozinho?
A diferença começa antes de contar seja quem for, na própria origem do universo. Em vez de carregar uma lista à mão uma vez por ano, o universo é derivado da fonte que já mantens viva, o diretório da organização, e atualiza-se quando entra alguém novo ou muda de função. Deixa de ser uma decisão tomada em janeiro e passa a ser um reflexo de quem trabalha hoje na empresa.
Com essa base, a conformidade lê-se com dois números em vez de um. A cobertura diz-te que parte das tuas pessoas está efetivamente dentro do plano; a conclusão diz-te que parte desse plano já terminou. Um 100% de conclusão sobre 30% de cobertura deixa de ser uma boa notícia e torna-se aquilo que sempre foi: um sinal de que faltam sete pessoas em cada dez.
É assim que entendemos a conformidade em matéria de sensibilização na SMARTFENSE, como parte do risco humano medido em toda a organização e não sobre uma amostra escolhida à mão. É o mesmo que qualquer auditor espera e o que a ISO/IEC 27001 tem em mente quando fala de sensibilização: não um curso dado a alguns, mas um programa que cobre todos os que devem ser cobertos.
Ajuda compará-lo a um inquérito. Se perguntares apenas às dez pessoas que já te iam dar razão e relatares o resultado como se falasse pelas duzentas, o número que obténs é impecável e não significa nada. Com a conformidade acontece o mesmo: uma amostra cómoda nunca é o mesmo que o total.
O número que importa não é quantos concluíram
Uma percentagem de conformidade só vale tanto quanto o universo sobre o qual é calculada. Medir a conclusão sem medir a cobertura dá uma sensação de controlo que se sustenta até ao dia em que alguém pergunta pelas pessoas que faltam, e nessa altura a resposta já devia lá estar. É o mesmo mecanismo pelo qual a conformidade cai em março sem que ninguém dê por isso: um número que se olha pouco e de longe.
Se quiseres ver a conformidade do teu programa com os dois números à vista, cobertura e conclusão, sobre o teu universo real e não sobre uma lista, podes conhecer a plataforma ou escrever-nos para uma demonstração com os teus próprios dados.
Deixe um comentário