I deepfake e i due modi opposti in cui un programma fallisce

Un programma di Cybersecurity awareness aggiunge un modulo sui deepfake e lo riempie di indizi visivi, come mani con dita in più, un battito di ciglia irregolare o labbra che non si sincronizzano del tutto con l’audio. Sei mesi dopo il generatore che produceva quegli errori è superato e il modulo è rimasto identico. Nello stesso semestre arrivano due segnalazioni al team di sicurezza. Nella prima, qualcuno ha autorizzato un bonifico dopo una videochiamata con chi sembrava essere il direttore finanziario. Nella seconda, qualcuno si è rifiutato di eseguire un’istruzione legittima perché l’audio gli è suonato strano e ha sospettato una voce clonata.

Il primo caso finisce registrato come un incidente, il secondo come un attrito operativo, se mai viene registrato. Vengono dallo stesso punto. Il programma ha collocato il criterio di decisione nella percezione di ciascuno. Allenare quella percezione non l’ha resa più precisa e, allo stesso tempo, ha lasciato l’intera organizzazione più avvertita che l’immagine può mentire. Da quel secondo effetto nasce il secondo caso.

Conviene separare i due modi prima di toccare il contenuto del modulo. Uno è la credulità verso il materiale audiovisivo, che fa passare una richiesta falsa perché arriva con un volto e una voce. L’altro è una diffidenza che si estende oltre il suo bersaglio e finisce per raggiungere anche le prove autentiche. Condividono il sintomo, perché in entrambi i casi la decisione si prende con un criterio che non può sostenerla, e ciò che corregge il primo aggrava il secondo.

Perché non valutiamo un video con lo stesso criterio di un testo?

Perché la modalità cambia lo status di ciò che riceviamo. Un testo arriva come un’affermazione che qualcuno sostiene e che possiamo mettere in dubbio senza sforzo. Un’immagine o una voce arrivano come registrazione di qualcosa che è accaduto, e per questo entrano nella decisione come prova e non come affermazione.

Quello status ha tenuto finché fabbricare una registrazione falsa costava caro. Nel 2022 Sophie Nightingale e Hany Farid hanno pubblicato su PNAS uno studio che ha misurato quanto resta di quella garanzia. Le persone coinvolte hanno indovinato nel 48,2% dei casi distinguendo volti sintetizzati dall’IA da fotografie di persone reali, un risultato indistinguibile dal caso. In un secondo esperimento, con addestramento preliminare e riscontro dopo ogni risposta, l’accuratezza è salita al 59,0% e si è fermata lì, senza migliorare nel corso della serie.

Un terzo esperimento ha aggiunto un risultato più scomodo. Quando è stato chiesto di valutare quanto affidabile sembrasse ogni volto su una scala di sette punti, i volti sintetici hanno ottenuto in media 4,82 e quelli reali 4,48. I volti di persone che non esistono sono risultati affidabili il 7,7% in più di quelli di persone che esistono.

Quel modo di decidere è noto come euristica di seeing-is-believing. Prendiamo la prova audiovisiva come veritiera per la sua forma, prima di valutarne il contenuto.

Si può allenare una persona a riconoscere un deepfake?

Le prove disponibili dicono che non si può in modo affidabile, e che le due leve abituali di un programma non spostano il risultato.

A novembre 2021 Nils Köbis, Barbora Doležalová e Ivan Soraperra hanno pubblicato su iScience un esperimento preregistrato con 210 partecipanti. Ogni persona ha visto sedici video brevi, metà autentici e metà manipolati, e ha indicato quali le sembrassero falsi. Un gruppo ha ricevuto prima un avviso sui danni provocati dai deepfake, un altro un incentivo economico per le risposte corrette, e nessuna delle due condizioni ha migliorato l’accuratezza rispetto al gruppo di controllo.

Altri due risultati dello stesso lavoro contano per la progettazione di un programma. L’errore non è simmetrico, perché le persone tendono a prendere il video manipolato per autentico più che il contrario. E le persone sovrastimano la propria capacità di riconoscere un deepfake, con una sicurezza che l’accuratezza non accompagna. Da quel lavoro viene il nome di seeing-is-believing.

Un modulo costruito sugli indizi visivi lavora quindi contro due limiti. L’accuratezza quasi non si muove, né con la motivazione né con l’avviso. La sicurezza sì, e chi si convince di saper guardare verifica meno di chi dubita. Quello che il modulo consegna è la convinzione.

A questo si aggiunge che l’indizio scade. L’elenco di artefatti che oggi tradisce un generatore descrive gli errori di una versione di software, non una proprietà stabile delle immagini sintetiche. Quando il generatore si aggiorna quegli errori smettono di prodursi, e spariscono senza che nessuno sia migliorato nel rilevarli. Ogni iterazione rende l’elenco inutile.

Quando abbiamo sostenuto che con i deepfake il metodo pedagogico pesa più del contenuto, l’argomento arrivava a quella stessa conclusione dalla pratica formativa. Le prove sperimentali arrivano allo stesso punto dalla percezione.

Cosa succede quando l’avviso funziona troppo bene?

Compare il secondo modo di sbagliare, e cresce proprio quando la campagna raggiunge il suo obiettivo. Un’organizzazione che ha imparato che qualsiasi registrazione può essere fabbricata ottiene anche una ragione nuova per scartare le registrazioni che preferirebbe non accettare.

Robert Chesney e Danielle Citron lo hanno descritto nel 2019, nel volume 107 della California Law Review, e lo hanno chiamato il dividendo del mentitore. Quel dividendo affluisce, in modo perverso, in proporzione al successo con cui si educa il pubblico sui pericoli dei deepfake. Quanto meglio un pubblico capisce che un video può essere fabbricato, tanto più facile diventa per qualcuno negare un video autentico.

In azienda il fenomeno arriva dall’operatività molto prima che dal dibattito pubblico. Un’istruzione legittima resta ineseguita perché chi l’ha ricevuta ha sospettato della voce. La registrazione di una riunione perde valore come riscontro di ciò che è stato concordato. E il canale di sicurezza inizia a ricevere segnalazioni che non portano un attacco una diffidenza senza oggetto invece di un attacco, e quelle segnalazioni consumano lo stesso tempo di analisi.

Il costo ricade sulle aree che hanno bisogno di credere a qualcuno per andare avanti, come risorse umane, finanza, supporto e acquisti. Quando il criterio per credere diventa la convinzione percettiva di ciascuno, il lavoro rallenta senza diventare più sicuro.

Nessuno dei due modi si corregge con l’intervento pensato per l’altro. A chi decide troppo facilmente sovrabbonda la fiducia nella propria percezione. A chi decide troppo poco manca un criterio che non dipenda da essa. Insistere sul messaggio che tutto può essere falso allevia il primo quadro e alimenta il secondo.

Come si distingue un modo dall’altro in un programma?

Da ciò che la persona fa con la richiesta, prima che da ciò che crede sul video.

I due errori si separano bene guardando due cose: quale canale ha portato la richiesta e quale azione ne è seguita. Tre segnali bastano a collocare un programma.

1. Si eseguono azioni sensibili senza conferma su un secondo canale. La richiesta è arrivata per videochiamata o audio ed è stata eseguita sul posto. La revisione utile guarda a quali azioni sono rimaste abilitate per quel canale, prima che a quanto convincente fosse il video.
2. Si invoca la possibilità di manipolazione per non seguire un processo. Il sospetto compare in modo selettivo, sulle richieste scomode, e non su richieste altrettanto verificabili che risultano comode. Si distingue da un dubbio genuino perché non porta con sé alcun tentativo di verifica.
3. Il volume delle segnalazioni cresce e la verifica no. Un canale che riceve più segnalazioni è una buona notizia, purché quelle segnalazioni finiscano in una conferma per altra via. Quando il volume sale e nessuno chiama nessuno, ciò che è cresciuto è l’ansia.

La distinzione somiglia a quella che usiamo per separare errore, negligenza e intenzione. Un’etichetta unica lascia il programma ad applicare la stessa correzione a due quadri che non si assomigliano. Come accade con la security fatigue e l’assuefazione, ciò che si confonde in una dashboard si separa osservando il comportamento. Per questo conviene rivedere cosa sta misurando il programma prima di aggiungergli un modulo.

Cosa cambia nella progettazione del programma

Il criterio di decisione si sposta dalla percezione alla procedura. Nessuno può rispondere con precisione se il video che sta guardando sia autentico. Si può invece rispondere se il canale da cui è arrivata quella richiesta autorizzi l’azione richiesta, e quella risposta è verificabile.

La prima traduzione è un elenco breve di azioni che non si autorizzano mai nello stesso canale in cui vengono richieste. Bonifici, modifiche ai dati bancari di un fornitore, attivazione di accessi e invio di informazioni sensibili rientrano in quell’elenco. La regola si definisce in anticipo e per tipo di azione, senza dipendere da quanto convincente fosse la richiesta, e così sottrae la decisione al terreno in cui la percezione fallisce. Ogni organizzazione ha la propria versione di quell’elenco, e per questo vale insegnarlo con contenuti personalizzati per ogni organizzazione invece che con una procedura generica.

La seconda è simulare il canale invece dell’artefatto. Una simulazione che allena l’occhio insegna a riconoscere una versione della tecnologia. Una che riproduce la sequenza completa, con una richiesta urgente che arriva per una via inconsueta e propone di saltare un passaggio, allena un comportamento che continua a funzionare quando il generatore migliora. Gli strumenti di simulazione di SMARTFENSE operano a quel livello, quello del processo decisionale, e per questo ciò che misurano invecchia molto più lentamente del software dell’attaccante. È lo stesso criterio con cui abbiamo già messo le leve di persuasione al di sopra del canale.

La terza è rendere il dubbio poco costoso. Se dubitare obbliga ad accusare qualcuno di sostituzione d’identità, quasi nessuno dubita. Un canale in cui la segnalazione si invia con un click e senza costo sociale trasforma il sospetto in un’azione a basso rischio, e lì il pulsante di segnalazione fa più per il criterio di qualsiasi elenco di indizi.

Nessun programma restituirà all’occhio una capacità che la tecnologia gli ha già tolto. Quello che può fare è smettere di chiedergli di decidere da solo.