Falsi positivi nelle simulazioni: origine e soluzioni

Falsi positivi nelle simulazioni: origine e soluzioni

In alcuni casi ovvi:

In altri, impercettibile:

I falsi positivi nelle simulazioni sono destinati a rimanere. È una realtà che devono affrontare praticamente tutte le organizzazioni che simulano Phishing, Smishing e Ransomware.

Il problema è indipendente dallo strumento utilizzato. La soluzione? È qui che cambia.

Come si generano i falsi positivi

Come abbiamo spiegato in un post precedente, le e-mail di spoofing contengono link unici che identificano in modo univoco un utente all’interno di una campagna. Questi link sono utilizzati per rilevare le interazioni che l’utente esegue e, quindi, per misurare il suo comportamento.

Se un software interroga questi link, una o più volte, genererà falsi positivi a nome dell’utente a cui è stata indirizzata la simulazione.

Da tenere presente: Questo stesso problema è presente in qualsiasi strumento che traccia il comportamento delle persone. Ad esempio, se la vostra organizzazione utilizza uno strumento di marketing, vi assicuro che anche questo ha dei falsi positivi nei suoi risultati. Forse quella comunicazione di successo del team di marketing non è stata vista da quasi nessuno. Consiglio: non dite nulla, perché questa notizia di solito genera molta tristezza e a volte è meglio essere felici in un mondo di bugie.

Ma visto che nel vostro caso preferite affrontare la realtà, anche se dolorosa, continuiamo.

Quali strumenti causano i falsi positivi?

Risposta breve

Quasi tutti.

Risposta elaborata

Il seguente elenco di strumenti non è esaustivo, poiché la fonte dei falsi positivi è molto ampia e in continua evoluzione.

Per questo motivo, non è possibile né pratico generare un elenco completo.

Inoltre, si noti che tutto ciò che viene menzionato di seguito si applica sia ai dispositivi aziendali che a quelli personali.

Strumenti che generano falsi positivi:

  • Tutte quelle soluzioni di sicurezza che scansionano o interferiscono in altro modo con le e-mail dell’organizzazione. Ecco alcuni esempi:
    • Filtri anti-spam e anti-phishing
    • IDS/IPS
    • DLP
    • Gateway di sicurezza e-mail
    • Antivirus
    • Monitoraggio e scansione continui
    • Archiviazione e rilevamento
    • Informazioni sulle minacce
    • ecc.

Come evitare i falsi positivi?

Nell’ambiente aziendale

Per quanto riguarda gli strumenti, i dispositivi, i browser e le applicazioni su cui abbiamo il controllo all’interno della nostra organizzazione, possiamo cercare di risolvere il problema mediante un processo di Whitelist.

È importante notare che l’obiettivo della Whitelist è che la simulazione venga ricevuta dall’utente. In una simulazione vogliamo misurare il comportamento degli utenti e per questo abbiamo bisogno che la posta o l’SMS vengano ricevuti nella casella di posta.

Quindi la whitelist ha meno a che fare con il problema dei falsi positivi, ma può essere utile.

Tuttavia, se analizziamo le possibili fonti di falsi positivi, è chiaro che è molto difficile, o in alcuni casi impossibile, implementare Whitelist in tutte le tecnologie coinvolte.

Inoltre, c’è un punto importante da tenere presente: anche se la Whitelist è implementata, ci sono strumenti che continuano a scansionare le e-mail. In questi casi, quindi, non c’è scampo ai falsi positivi.

Nell’ambiente personale

Se l’utente utilizza il suo dispositivo personale per controllare la posta aziendale, c’è ben poco da fare. Semmai, dovremmo avere il permesso dell’utente di manipolare il suo dispositivo per ripulire tutte quelle tecnologie che possono causare falsi positivi e implementare Whitelist su quelle che devono essere mantenute. Tuttavia, è questo quello che sto scrivendo, è almeno fattibile? Non credo, ma è l’unica cosa che mi viene in mente per questo ambiente.

Come rilevare i falsi positivi?

Opzione 1: lasciare che lo strumento di simulazione li rilevi per noi

L’opzione migliore per rilevare i falsi positivi è quella di avere uno strumento di simulazione che li rilevi per noi e ci avverta semplicemente se la nostra campagna è interessata.

Ancora meglio: se questo strumento ci fornisce anche una serie di report che ci permettono di capire meglio l’origine del problema, come ad esempio:

  • Elenco degli indirizzi IP da cui provengono i falsi positivi
  • Informazioni Whois di questi indirizzi IP
  • User-agent dei falsi positivi
  • Traccia del pacchetto HTTP che ha generato il falso positivo
  • ecc.

Ancora meglio moltiplicato per 2: se contrattiamo un servizio gestito da un partner che gestisce SMARTFENSE, non dobbiamo preoccuparci di nulla.

Opzione 2: a mano

Se non disponiamo di uno strumento che rilevi i falsi positivi per noi, le cose peggiorano un po’.

Se il problema è evidente:

A volte il problema è più visibile, perché i risultati della campagna attirano la nostra attenzione. Ad esempio:

  • Messaggi inviati: 1000
  • Email aperte: 900
  • Clic sul link: 900

In casi come questo, è chiaro che è successo qualcosa di strano. Ora, questa campagna sta per essere cestinata perché: come possiamo discernere quali interazioni hanno fatto i nostri utenti?

Possiamo seguire una strategia manuale in cui cerchiamo, ad esempio, le interazioni effettuate da ciascun utente e osserviamo l’intervallo di secondi in cui si sono verificate. In questo modo potremmo scartare:

  • Gli utenti che hanno interagito in una data e in un’ora molto vicine alla data e all’ora di invio dell’e-mail di simulazione: in questi casi possiamo ipotizzare che si sia trattato di uno strumento che ha analizzato l’e-mail un attimo prima di consegnarla all’utente.
  • Interazioni molto ravvicinate nel tempo: ad esempio, l’apertura dell’e-mail e il clic sul link di phishing sono avvenuti a distanza di un secondo o meno.

Se si esegue questo lavoro manualmente, probabilmente verranno eliminati diversi falsi positivi.

Ma la campagna deve comunque essere cestinata, perché purtroppo non saremo in grado di pulirla tutta. Considerando il numero di fonti di falsi positivi esistenti, con questa pulizia ne copriremo solo una piccola percentuale.

Ogni fonte di falsi positivi li genera in momenti diversi (non solo al momento della ricezione dell’e-mail) ed esegue interazioni diverse con le e-mail (non sempre un’apertura e un clic, e nemmeno sempre in quest’ordine). Per questo motivo non esiste una logica che ci permetta di fare una pulizia manuale affidabile.

Se il problema non è evidente:

In alcuni casi il problema è invisibile. E questi casi sono i peggiori, perché prenderemo per veri risultati che in realtà sono parzialmente falsi. E lo scopriremo quando qualcuno si lamenterà di essere stato accusato di un’azione che non ha fatto.

In questi casi è già troppo tardi e ogni decisione che abbiamo pensato in base ai risultati delle nostre simulazioni sarà già stata presa.

Riflessioni finali

Nel 2019 un cliente ci ha sottoposto il seguente problema: alcuni utenti negavano di essere caduti in simulazioni di phishing. Mentre i registri di audit indicavano azioni come l’apertura delle e-mail e il clic sul link, questi utenti sostenevano di non aver eseguito queste azioni.

Questo è stato il primo incontro con i falsi positivi. Gli utenti non avevano effettivamente interagito e le statistiche registrate sulla piattaforma provenivano da una soluzione di sicurezza.

Da quel momento in poi, avevamo due strade possibili:

  1. Fare come i nostri concorrenti, cioè dire al cliente che il problema era suo e lasciare che lo risolvesse tramite whitelist.
  2. Aiutare il cliente a ottenere risultati affidabili.

Come sempre, abbiamo scelto l’opzione 2. È qui che è nato l’algoritmo di rilevamento dei falsi positivi e la nostra prima storia di successo legata a questo argomento.

L’algoritmo di rilevamento SMARTFENSE copre la stragrande maggioranza dei casi ed è in continua evoluzione. Allo stesso tempo, è personalizzabile e copre la realtà di qualsiasi organizzazione.

Senza questa caratteristica, non è possibile ottenere risultati di simulazione affidabili. E questo vale per qualsiasi organizzazione. È quindi sorprendente che i grandi concorrenti nel mercato della Security Awareness inviino i loro clienti alla Whitelist. Sapendo che questa non è la soluzione e lasciando le organizzazioni con più problemi che soluzioni.

Questo è il mio 190° articolo sul blog SMARTFENSE. Ho sempre parlato delle sfide del mondo dell’ingegneria sociale senza raccomandare esplicitamente la nostra piattaforma.

Ma questa volta farò un’eccezione: se avete intenzione di simulare il phishing, usate SMARTFENSE. Vi risparmierete molti grattacapi e otterrete risultati affidabili.

Nicolás Bruna

Product Manager de SMARTFENSE. Su misión en la empresa es mejorar la plataforma día a día y evangelizar sobre la importancia de la concientización. Lidera el equipo de desarrollo y QA de SMARTFENSE. Ha escrito dos whitepapers y más de 50 artículos sobre concientización. También es uno de los autores de la Guía de Ransomware de OWASP y el Calculador de costos de Ransomware, entre otros recursos gratuitos.

Lascia un commento