Un programma di Cybersecurity awareness aggiunge un modulo sui deepfake e lo riempie di indizi visivi, come mani con dita in pi\u00f9, un battito di ciglia irregolare o labbra che non si sincronizzano del tutto con l\u2019audio. Sei mesi dopo il generatore che produceva quegli errori \u00e8 superato e il modulo \u00e8 rimasto identico. Nello stesso semestre arrivano due segnalazioni al team di sicurezza. Nella prima, qualcuno ha autorizzato un bonifico dopo una videochiamata con chi sembrava essere il direttore finanziario. Nella seconda, qualcuno si \u00e8 rifiutato di eseguire un\u2019istruzione legittima perch\u00e9 l\u2019audio gli \u00e8 suonato strano e ha sospettato una voce clonata.<\/p>\n
Il primo caso finisce registrato come un incidente, il secondo come un attrito operativo, se mai viene registrato. Vengono dallo stesso punto. Il programma ha collocato il criterio di decisione nella percezione di ciascuno. Allenare quella percezione non l\u2019ha resa pi\u00f9 precisa e, allo stesso tempo, ha lasciato l\u2019intera organizzazione pi\u00f9 avvertita che l\u2019immagine pu\u00f2 mentire. Da quel secondo effetto nasce il secondo caso.<\/p>\n
Conviene separare i due modi prima di toccare il contenuto del modulo. Uno \u00e8 la credulit\u00e0 verso il materiale audiovisivo, che fa passare una richiesta falsa perch\u00e9 arriva con un volto e una voce. L\u2019altro \u00e8 una diffidenza che si estende oltre il suo bersaglio e finisce per raggiungere anche le prove autentiche. Condividono il sintomo, perch\u00e9 in entrambi i casi la decisione si prende con un criterio che non pu\u00f2 sostenerla, e ci\u00f2 che corregge il primo aggrava il secondo.<\/p>\n
Perch\u00e9 la modalit\u00e0 cambia lo status di ci\u00f2 che riceviamo. Un testo arriva come un\u2019affermazione che qualcuno sostiene e che possiamo mettere in dubbio senza sforzo. Un\u2019immagine o una voce arrivano come registrazione di qualcosa che \u00e8 accaduto, e per questo entrano nella decisione come prova e non come affermazione.<\/p>\n
Quello status ha tenuto finch\u00e9 fabbricare una registrazione falsa costava caro. Nel 2022 Sophie Nightingale e Hany Farid hanno pubblicato su PNAS<\/a> uno studio che ha misurato quanto resta di quella garanzia. Le persone coinvolte hanno indovinato nel 48,2% dei casi distinguendo volti sintetizzati dall\u2019IA da fotografie di persone reali, un risultato indistinguibile dal caso. In un secondo esperimento, con addestramento preliminare e riscontro dopo ogni risposta, l\u2019accuratezza \u00e8 salita al 59,0% e si \u00e8 fermata l\u00ec, senza migliorare nel corso della serie.<\/p>\n Un terzo esperimento ha aggiunto un risultato pi\u00f9 scomodo. Quando \u00e8 stato chiesto di valutare quanto affidabile sembrasse ogni volto su una scala di sette punti, i volti sintetici hanno ottenuto in media 4,82 e quelli reali 4,48. I volti di persone che non esistono sono risultati affidabili il 7,7% in pi\u00f9 di quelli di persone che esistono.<\/p>\n Quel modo di decidere \u00e8 noto come euristica di seeing-is-believing<\/em>. Prendiamo la prova audiovisiva come veritiera per la sua forma, prima di valutarne il contenuto.<\/p>\n Le prove disponibili dicono che non si pu\u00f2 in modo affidabile, e che le due leve abituali di un programma non spostano il risultato.<\/p>\n A novembre 2021 Nils K\u00f6bis, Barbora Dole\u017ealov\u00e1 e Ivan Soraperra hanno pubblicato su iScience<\/a> un esperimento preregistrato con 210 partecipanti. Ogni persona ha visto sedici video brevi, met\u00e0 autentici e met\u00e0 manipolati, e ha indicato quali le sembrassero falsi. Un gruppo ha ricevuto prima un avviso sui danni provocati dai deepfake, un altro un incentivo economico per le risposte corrette, e nessuna delle due condizioni ha migliorato l\u2019accuratezza rispetto al gruppo di controllo.<\/p>\n Altri due risultati dello stesso lavoro contano per la progettazione di un programma. L\u2019errore non \u00e8 simmetrico, perch\u00e9 le persone tendono a prendere il video manipolato per autentico pi\u00f9 che il contrario. E le persone sovrastimano la propria capacit\u00e0 di riconoscere un deepfake, con una sicurezza che l\u2019accuratezza non accompagna. Da quel lavoro viene il nome di seeing-is-believing<\/em>.<\/p>\n Un modulo costruito sugli indizi visivi lavora quindi contro due limiti. L\u2019accuratezza quasi non si muove, n\u00e9 con la motivazione n\u00e9 con l\u2019avviso. La sicurezza s\u00ec, e chi si convince di saper guardare verifica meno di chi dubita. Quello che il modulo consegna \u00e8 la convinzione.<\/p>\n A questo si aggiunge che l\u2019indizio scade. L\u2019elenco di artefatti che oggi tradisce un generatore descrive gli errori di una versione di software, non una propriet\u00e0 stabile delle immagini sintetiche. Quando il generatore si aggiorna quegli errori smettono di prodursi, e spariscono senza che nessuno sia migliorato nel rilevarli. Ogni iterazione rende l\u2019elenco inutile.<\/p>\n Quando abbiamo sostenuto che con i deepfake il metodo pedagogico pesa pi\u00f9 del contenuto<\/a>, l\u2019argomento arrivava a quella stessa conclusione dalla pratica formativa. Le prove sperimentali arrivano allo stesso punto dalla percezione.<\/p>\n Compare il secondo modo di sbagliare, e cresce proprio quando la campagna raggiunge il suo obiettivo. Un\u2019organizzazione che ha imparato che qualsiasi registrazione pu\u00f2 essere fabbricata ottiene anche una ragione nuova per scartare le registrazioni che preferirebbe non accettare.<\/p>\n Robert Chesney e Danielle Citron lo hanno descritto nel 2019, nel volume 107 della California Law Review<\/a>, e lo hanno chiamato il dividendo del mentitore. Quel dividendo affluisce, in modo perverso, in proporzione al successo con cui si educa il pubblico sui pericoli dei deepfake. Quanto meglio un pubblico capisce che un video pu\u00f2 essere fabbricato, tanto pi\u00f9 facile diventa per qualcuno negare un video autentico.<\/p>\n In azienda il fenomeno arriva dall\u2019operativit\u00e0 molto prima che dal dibattito pubblico. Un\u2019istruzione legittima resta ineseguita perch\u00e9 chi l\u2019ha ricevuta ha sospettato della voce. La registrazione di una riunione perde valore come riscontro di ci\u00f2 che \u00e8 stato concordato. E il canale di sicurezza inizia a ricevere segnalazioni che non portano un attacco una diffidenza senza oggetto invece di un attacco, e quelle segnalazioni consumano lo stesso tempo di analisi.<\/p>\n Il costo ricade sulle aree che hanno bisogno di credere a qualcuno per andare avanti, come risorse umane, finanza, supporto e acquisti. Quando il criterio per credere diventa la convinzione percettiva di ciascuno, il lavoro rallenta senza diventare pi\u00f9 sicuro.<\/p>\n Nessuno dei due modi si corregge con l\u2019intervento pensato per l\u2019altro. A chi decide troppo facilmente sovrabbonda la fiducia nella propria percezione. A chi decide troppo poco manca un criterio che non dipenda da essa. Insistere sul messaggio che tutto pu\u00f2 essere falso allevia il primo quadro e alimenta il secondo.<\/p>\n Da ci\u00f2 che la persona fa con la richiesta, prima che da ci\u00f2 che crede sul video.<\/p>\n I due errori si separano bene guardando due cose: quale canale ha portato la richiesta e quale azione ne \u00e8 seguita. Tre segnali bastano a collocare un programma.<\/p>\n La distinzione somiglia a quella che usiamo per separare errore, negligenza e intenzione<\/a>. Un\u2019etichetta unica lascia il programma ad applicare la stessa correzione a due quadri che non si assomigliano. Come accade con la security fatigue e l\u2019assuefazione<\/a>, ci\u00f2 che si confonde in una dashboard si separa osservando il comportamento. Per questo conviene rivedere cosa sta misurando il programma<\/a> prima di aggiungergli un modulo.<\/p>\n Il criterio di decisione si sposta dalla percezione alla procedura. Nessuno pu\u00f2 rispondere con precisione se il video che sta guardando sia autentico. Si pu\u00f2 invece rispondere se il canale da cui \u00e8 arrivata quella richiesta autorizzi l\u2019azione richiesta, e quella risposta \u00e8 verificabile.<\/p>\n La prima traduzione \u00e8 un elenco breve di azioni che non si autorizzano mai nello stesso canale in cui vengono richieste. Bonifici, modifiche ai dati bancari di un fornitore, attivazione di accessi e invio di informazioni sensibili rientrano in quell\u2019elenco. La regola si definisce in anticipo e per tipo di azione, senza dipendere da quanto convincente fosse la richiesta, e cos\u00ec sottrae la decisione al terreno in cui la percezione fallisce. Ogni organizzazione ha la propria versione di quell\u2019elenco, e per questo vale insegnarlo con contenuti personalizzati per ogni organizzazione<\/a> invece che con una procedura generica.<\/p>\n La seconda \u00e8 simulare il canale invece dell\u2019artefatto. Una simulazione che allena l\u2019occhio insegna a riconoscere una versione della tecnologia. Una che riproduce la sequenza completa, con una richiesta urgente che arriva per una via inconsueta e propone di saltare un passaggio, allena un comportamento che continua a funzionare quando il generatore migliora. Gli strumenti di simulazione di SMARTFENSE<\/a> operano a quel livello, quello del processo decisionale, e per questo ci\u00f2 che misurano invecchia molto pi\u00f9 lentamente del software dell\u2019attaccante. \u00c8 lo stesso criterio con cui abbiamo gi\u00e0 messo le leve di persuasione al di sopra del canale<\/a>.<\/p>\nSi pu\u00f2 allenare una persona a riconoscere un deepfake?<\/h2>\n
Cosa succede quando l\u2019avviso funziona troppo bene?<\/h2>\n
Come si distingue un modo dall\u2019altro in un programma?<\/h2>\n
\n
Cosa cambia nella progettazione del programma<\/h2>\n