Falsos positivos en simulaciones: origen y soluciones

Falsos positivos en simulaciones: origen y soluciones

En algunos casos evidentes:

En otros, imperceptibles:

Los falsos positivos en las simulaciones llegaron para quedarse. Es una realidad que enfrentan virtualmente todas las organizaciones que simulan Phishing, Smishing y Ransomware.

El problema es independiente de la herramienta utilizada. ¿La solución? Ahí la cosa cambia.

Cómo se generan los falsos positivos

Como explicamos en un post anterior, los correos de simulación contienen enlaces únicos que identifican de manera unívoca a un usuario dentro de una campaña. Estos enlaces sirven para detectar las interacciones que dicho usuario realiza, y por lo tanto, medir su comportamiento.

Si un software consulta estos enlaces, una o más veces, va a generar falsos positivos en nombre del usuario al cual iba dirigida la simulación.

Para tener en cuenta: Este mismo problema está presente en cualquier herramienta que haga seguimiento sobre el comportamiento de las personas. Por ejemplo: si en su organización se utiliza alguna herramienta de marketing, le aseguro que también tiene falsos positivos en sus resultados. Quizá ese comunicado del equipo de marketing que tanto éxito tuvo, en realidad no fue visto por casi nadie. Recomendación: no diga nada, ya que esta noticia por lo general genera mucha tristeza y a veces es mejor ser feliz en un mundo de mentira.

Pero bueno, como en su caso usted prefiere enfrentar la realidad así sea dolorosa, sigamos.

¿Qué herramientas provocan los falsos positivos?

Respuesta breve

Casi todas.

Respuesta elaborada

El siguiente listado de herramientas no es exhaustivo, ya que el origen de los falsos positivos es muy amplio y cambia constantemente. 

Por este motivo, no es posible ni tampoco práctico generar un listado completo. 

Además, tenga en cuenta que todo lo mencionado a continuación aplica tanto para dispositivos corporativos como personales.

Herramientas que generan falsos positivos:

  • Todas aquellas soluciones de seguridad que analizan o intervienen de alguna manera los correos electrónicos de la organización. A continuación algunos ejemplos: 
    • Filtros antispam y antiphishing
    • IDS/IPS
    • DLP
    • Gateways de seguridad de correo electrónico
    • Antivirus
    • Análisis y monitoreo continuo
    • Archiving and Discovery
    • Threat Intelligence
    • Etc.
  • Cualquier otro software presente en el dispositivo, navegador y aplicación (web o mobile) utilizados para consultar el correo corporativo, como por ejemplo:
    • Aplicaciones desktop, web o mobile de correo electrónico
    • Extensiones del navegador web
    • Plugins disponibles en la bandeja de entrada
    • Herramientas de previsualización de enlaces
    • Etc.

¿Cómo evitar los falsos positivos?

En el entorno corporativo

Dentro de aquellas herramientas, dispositivos, navegadores y aplicaciones sobre las cuales tenemos un control dentro de nuestra organización, podemos intentar solucionar el problema mediante un proceso de Whitelist.

Es importante destacar que el objetivo del Whitelist va por otro lado, y es que la simulación sea recibida por el usuario. En una simulación queremos medir cómo se comportan los usuarios y para eso necesitamos que el correo o SMS sea recibido en la bandeja de entrada.

Entonces Whitelist no tiene tanto que ver con el tema de falsos positivos, pero puede ayudar.

De todas formas si analizamos las posibles fuentes de falsos positivos queda a la vista que es muy difícil, o en algunos casos directamente imposible, implementar Whitelist en todas las tecnologías involucradas.

Además, hay un punto importante a tener en cuenta: aún haciendo Whitelist, hay herramientas que igualmente analizan los correos electrónicos. Por lo que en estos casos no hay escapatoria del falso positivo.

En el entorno personal

Si el usuario utiliza su dispositivo personal para consultar el correo corporativo, hay muy poco por hacer. En todo caso deberíamos tener el permiso del usuario de manipular su dispositivo para limpiar todas aquellas tecnologías que puedan causar los falsos positivos e implementar Whitelists en aquellas que deban mantenerse. Igualmente, esto que estoy escribiendo, ¿es acaso factible?. Yo creo que no, pero es lo único que se me ocurre para este entorno.

¿Cómo detectar los falsos positivos?

Opción 1: que la herramienta de simulación los detecte por nosotros

La mejor opción para detectar falsos positivos es contar con una herramienta de simulación que los detecte por nosotros y simplemente nos avise si nuestra campaña se encuentra afectada.

Mejor aún: si esa herramienta además nos provee de una serie de informes que nos permitan entender mejor el origen del problema, como por ejemplo:

  • Listado de direcciones IP desde las cuales provienen los falsos positivos
  • Información Whois de dichas direcciones IP
  • User-agent de los falsos positivos
  • Trace del paquete HTTP que generó el falso positivo
  • Etc.

Mejor aún multiplicado por 2: si contratamos un servicio gestionado de un partner que administra SMARTFENSE, ya nos despreocupamos de todo.

Opción 2: a mano

Si no contamos con una herramienta que detecte los falsos positivos por nosotros, la cosa se pone un poco más fea.

Si el problema es evidente:

Algunas veces el problema va a ser más visible, ya que los resultados de la campaña nos van a llamar la atención. Por ejemplo:

  • Correos enviados: 1000
  • Correos abiertos: 900
  • Clics en el enlace: 900

En casos como este salta a la vista que algo raro sucedió. Ahora bien, esa campaña se va a la basura porque: ¿cómo podemos discernir cuáles son las interacciones que realmente realizaron nuestros usuarios?.

En realidad podemos seguir alguna estrategia manual donde busquemos por ejemplo las interacciones realizadas por cada usuario y observemos el rango de segundos en el que ocurrieron. Entonces de esta manera podríamos descartar:

  • Aquellos usuarios que interactuaron en una fecha y hora muy cercana a la fecha y hora de envío del correo de simulación: en estos casos podemos suponer que en realidad fue una herramienta que analizó el correo instantes antes de entregarlo al usuario.
  • Aquellas interacciones que están muy cerca en el tiempo: por ejemplo, una apertura de correo y clic sobre el enlace de Phishing que se realizaron con 1 segundo o menos de diferencia.

Si realizamos manualmente este trabajo seguramente vamos a limpiar varios falsos positivos.

Pero la campaña se tiene que ir a la basura igual, ya que lamentablemente no vamos a poder limpiarlos a todos. Teniendo en cuenta la cantidad de fuentes de falsos positivos que existen, con esta limpieza solo estaremos cubriendo un porcentaje menor. 

Cada fuente de falsos positivos los genera en momentos diferentes (no solo al momento de recepción del correo) y realiza interacciones diferentes con los correos electrónicos (no siempre es una apertura y un clic, tampoco en ese orden). Por eso es que no hay una lógica que nos permita hacer una limpieza manual confiable.

Si el problema no es evidente:

En algunos casos el problema es invisible. Y estos casos son los peores, ya que vamos a tomar como reales resultados que en realidad son parcialmente falsos. Y nos vamos a enterar cuando alguna persona reclame por ser acusada de una acción que no realizó.

En estos casos ya es tarde y cualquier decisión que hayamos pensado en base a los resultados de nuestras simulaciones ya estará tomada.

Ideas finales

En el año 2019 un cliente nos planteó el siguiente problema: algunos usuarios negaban haber caído en las simulaciones de Phishing. Si bien los registros de auditoría indicaban acciones como apertura de correos y clics en el enlace, estos usuarios aseguraban que no habían realizado esas acciones.

Este fue el primer encuentro que tuvimos con los falsos positivos. Los usuarios realmente no habían interactuado y la estadística registrada en la plataforma provenía de una solución de seguridad.

A partir de ese momento tuvimos dos caminos posibles:

  1. Hacer lo mismo que nuestros competidores, es decir, comentar al cliente que el problema era suyo y que lo solucione mediante whitelist.
  2. Ayudar al cliente a obtener resultados confiables.

Y como siempre, fuimos por la opción 2. De aquí nació el algoritmo de detección de falsos positivos y nuestro primer caso de éxito relacionado con este tema.

El algoritmo de detección de SMARTFENSE cubre la gran mayoría de casos y se encuentra en constante evolución. A su vez, es personalizable, cubriendo así la realidad de cualquier organización.

Sin un feature como este, no es posible obtener resultados confiables en las simulaciones. Y esto aplica a cualquier organización. Por ese motivo sorprende que los grandes competidores del mercado de Security Awareness manden a sus clientes a hacer Whitelist. Sabiendo que esa no es la solución y dejando a las organizaciones con más problemas que soluciones.

Este es mi artículo número 190 en el blog de SMARTFENSE. Y siempre hablé de los desafíos del mundo de la ingeniería social sin recomendar explícitamente nuestra plataforma.

Pero esta vez voy a hacer una excepción: Si vas a simular phishing, usá SMARTFENSE. Te vas a ahorrar muchísimos dolores de cabeza y vas a obtener resultados confiables.

Nicolás Bruna

Product Manager de SMARTFENSE. Su misión en la empresa es mejorar la plataforma día a día y evangelizar sobre la importancia de la concientización. Lidera el equipo de desarrollo y QA de SMARTFENSE. Ha escrito dos whitepapers y más de 50 artículos sobre concientización. También es uno de los autores de la Guía de Ransomware de OWASP y el Calculador de costos de Ransomware, entre otros recursos gratuitos.

Deja una respuesta