Falsos positivos em simulações: origem e soluções

Em alguns casos evidente:

Noutros, impercetível:

Os falsos positivos nas simulações vieram para ficar. É uma realidade enfrentada por praticamente todas as organizações que simulam Phishing, Smishing e Ransomware.

O problema é independente da ferramenta utilizada. A solução? A questão é diferente.

Como são gerados os falsos positivos

Como explicamos num post anteriorNos emails de simulação, os emails de simulação contêm ligações únicas que identificam exclusivamente um utilizador numa campanha. Estas ligações são utilizadas para detetar as interacções que o utilizador realiza e, por conseguinte, para medir o seu comportamento.

Se um software consultar estas ligações, uma ou mais vezes, irá gerar falsos positivos em nome do utilizador para o qual a simulação foi direccionada.

A ter em conta: Este mesmo problema está presente em qualquer ferramenta que monitorize o comportamento das pessoas. Por exemplo: se a sua organização utiliza quaisquer ferramentas de marketing, posso garantir-lhe que também tem falsos positivos nos seus resultados. Talvez essa declaração de sucesso da equipa de marketing não tenha sido vista por quase ninguém. Recomendação: não dizer nada, pois estas notícias costumam gerar muita tristeza e, por vezes, é melhor ser feliz num mundo de mentiras.

Mas bem, como no seu caso prefere encarar a realidade, mesmo que seja dolorosa, vamos continuar.

Que ferramentas causam falsos positivos?

Resposta curta

Quase todos eles.

Resposta elaborada

A seguinte lista de ferramentas não é exaustivoA fonte de falsos positivos é muito vasta e está em constante mudança.

Por este motivo, não é possível nem prático elaborar uma lista completa.

Além disso, é necessário ter em conta o seguinte para dispositivos empresariais e pessoais.

Ferramentas que geram falsos positivos:

• Todas as soluções de segurança que analisam ou interferem de alguma forma com o correio eletrónico da organização. Eis alguns exemplos:
  • Filtros anti-spam e anti-phishing
  • IDS/IPS
  • DLP
  • Gateways de segurança de correio eletrónico
  • Antivírus
  • Análise e monitorização contínua
  • Archiving and Discovery
  • Threat Intelligence
  • Etc.

• Qualquer outro software presente no dispositivo, browser e aplicação (web ou móvel) utilizado para consultar o correio eletrónico da empresa, como por exemplo:
  • Aplicações de correio eletrónico para PC, Web ou smartphone
  • Extensões do navegador Web
  • Plugins disponíveis na caixa de entrada
  • Ferramentas de pré-visualização de ligações
  • Etc.

Como evitar falsos positivos?

No ambiente empresarial

Nas ferramentas, dispositivos, browsers e aplicações sobre os quais temos controlo na nossa organização, podemos tentar resolver o problema através de um processo de lista branca.

É importante notar que o objetivo da lista branca é diferentee que a simulação é recebida pelo utilizador. Numa simulação, queremos medir o comportamento dos utilizadores e, para isso, precisamos que o correio ou SMS seja recebido na caixa de entrada.

Assim, a Whitelist não tem tanto a ver com falsos positivos, mas pode ajudar.

No entanto, se analisarmos as possíveis fontes de falsos positivos, torna-se claro que é muito difícil, ou em alguns casos impossível, implementar a Whitelist em todas as tecnologias envolvidas.

Para além disso, há um ponto importante a ter em conta: mesmo quando se utiliza a Whitelist, existem ferramentas que também analisam as mensagens de correio eletrónico. Assim, nestes casos, não há como escapar ao falso positivo.

No ambiente pessoal

Se o utilizador utilizar o seu dispositivo pessoal para verificar o correio da empresa, não há muito a fazer. No mínimo, deveríamos ter a permissão do utilizador para manipular o seu dispositivo para limpar todas as tecnologias que podem causar falsos positivos e implementar listas brancas naquelas que precisam de ser mantidas. No entanto, é isto que estou a escrever, é sequer exequível? Penso que não, mas é a única coisa que me ocorre para este ambiente.

Como detetar falsos positivos?

Opção 1: fazer com que a ferramenta de simulação os detecte por nós

A melhor opção para detetar falsos positivos é dispor de uma ferramenta de simulação que os detecta por nós e simplesmente nos notifica se a nossa campanha for afetada.

Melhor ainda: se esta ferramenta também nos fornecer uma série de relatórios que nos permitem compreender melhor a origem do problema, como, por exemplo:

• Lista de endereços IP de onde provêm os falsos positivos
• Informações Whois sobre estes endereços IP
• User-agent de falsos positivos
• Trace do pacote HTTP que gerou o falso positivo
• Etc.

Melhor ainda, multiplicado por 2: Se contratarmos um serviço gerido por um parceiro que gere a SMARTFENSE, não temos de nos preocupar com nada.

Opção 2: à mão

Se não tivermos uma ferramenta para detetar falsos positivos, torna-se um pouco mais difícil.

Se o problema for óbvio:

Por vezes, o problema será mais visível, uma vez que os resultados da campanha chamarão a nossa atenção. Por exemplo:

• Correios enviados: 1000
• Correios abertos: 900
• Cliques na ligação: 900

Em casos como este, é evidente que algo de estranho aconteceu. Agora, essa campanha vai para o lixo porque: como podemos discernir quais as interacções que os nossos utilizadores realmente fizeram?

Na realidade, podemos seguir uma estratégia manual em que procuramos, por exemplo, as interacções feitas por cada utilizador e observamos o intervalo de segundos em que ocorreram. Assim, poderíamos excluir a hipótese:

• Os utilizadores que interagiram numa data e hora muito próximas da data e hora de envio do e-mail de simulação: nestes casos, podemos supor que se tratava efetivamente de uma ferramenta que analisou o e-mail momentos antes de o entregar ao utilizador.
• As interacções muito próximas no tempo: por exemplo, abrir uma mensagem de correio eletrónico e clicar na ligação de phishing com um intervalo de 1 segundo ou menos.

Se fizermos este trabalho manualmente, é provável que tenhamos de eliminar vários falsos positivos.

Mas, de qualquer modo, a campanha tem de ir pelo cano abaixo, pois, infelizmente, não vamos conseguir limpá-los a todos. Tendo em conta o número de fontes de falsos positivos que existem, esta limpeza abrangerá apenas uma pequena percentagem.

Cada fonte de falsos positivos gera-os em momentos diferentes (não apenas aquando da receção do e-mail) e realiza diferentes interacções com os e-mails (nem sempre uma abertura e um clique, nem sempre por essa ordem). É por isso que não existe uma lógica que nos permita fazer uma limpeza manual fiável.

Se o problema não for óbvio:

Nalguns casos, o problema é invisível. E estes casos são os piores, pois vamos tomar como verdadeiros resultados que são, de facto, parcialmente falsos. E vamos descobrir quando alguém se queixa de ser acusado de um ato que não praticou.

Nestes casos, já é demasiado tarde e qualquer decisão que possamos ter pensado com base nos resultados das nossas simulações já terá sido tomada.

Considerações finais

Em 2019, um cliente chamou a nossa atenção para o seguinte problema: alguns utilizadores negaram ter caído em simulações de phishing. Embora os registos de auditoria indicassem acções como a abertura de mensagens de correio eletrónico e o clique na ligação, estes utilizadores afirmaram que não tinham realizado essas acções.

Este foi o primeiro encontro que tivemos com falsos positivos. Os utilizadores não tinham efetivamente interagido e as estatísticas registadas na plataforma provinham de uma solução de segurança.

A partir daí, tínhamos dois caminhos possíveis:

1. Fazer o mesmo que os nossos concorrentes, ou seja, dizer ao cliente que o problema era dele e pedir-lhe que o resolva através da Whitelist.
2. Ajudar o cliente a obter resultados fiáveis.

E, como sempre, optámos pela opção 2. A partir daí, nasceu o algoritmo de deteção de falsos positivos, e a nossa primeira história de sucesso relacionada com este tema.

O algoritmo de deteção da SMARTFENSE cobre a grande maioria dos casos e está em constante evolução. Por sua vez, é personalizávelEsta é a realidade de qualquer organização.

Sem essa caraterística, não é possível obter resultados fiáveis nas simulações. E isto aplica-se a qualquer organização. Por conseguinte, é surpreendente que os principais concorrentes no mercado da sensibilização para a segurança enviem os seus clientes para a Whitelist. Sabendo que esta não é a solução e deixando as organizações com mais problemas do que soluções.

Este é o meu 190º artigo no blogue da SMARTFENSE. E falei sempre sobre os desafios do mundo da engenharia social sem recomendar explicitamente a nossa plataforma.

Mas desta vez vou abrir uma exceção: se vai simular phishing, use SMARTFENSE. Poupará muitas dores de cabeça e obterá resultados fiáveis.