Um programa de sensibiliza\u00e7\u00e3o acrescenta um m\u00f3dulo sobre deepfakes e enche-o de ind\u00edcios visuais, como m\u00e3os com dedos a mais, um pestanejo irregular ou l\u00e1bios que n\u00e3o sincronizam por completo com o \u00e1udio. Seis meses depois, o gerador que produzia esses erros ficou obsoleto e o m\u00f3dulo continua igual. Nesse semestre chegam duas consultas \u00e0 equipa de seguran\u00e7a. Numa, algu\u00e9m autorizou uma transfer\u00eancia depois de uma videochamada com quem parecia ser o diretor financeiro. Na outra, algu\u00e9m recusou-se a executar uma instru\u00e7\u00e3o leg\u00edtima porque o \u00e1udio lhe soou estranho e suspeitou de uma voz clonada.<\/p>\n
O primeiro caso \u00e9 registado como um incidente, o segundo como um atrito operacional, se chegar a ser registado. V\u00eam do mesmo lugar. O programa colocou o crit\u00e9rio de decis\u00e3o na perce\u00e7\u00e3o de cada pessoa. Treinar essa perce\u00e7\u00e3o n\u00e3o a tornou mais precisa e, ao mesmo tempo, deixou toda a organiza\u00e7\u00e3o mais avisada de que a imagem pode mentir. Desse segundo efeito sai o segundo caso.<\/p>\n
Conv\u00e9m separar os dois modos antes de mexer no conte\u00fado do m\u00f3dulo. Um \u00e9 a credulidade face ao audiovisual, que faz passar um pedido falso porque vem com cara e voz. O outro \u00e9 uma desconfian\u00e7a que se estende al\u00e9m do seu alvo e acaba por alcan\u00e7ar as provas aut\u00eanticas. Partilham o sintoma, porque nos dois casos a decis\u00e3o \u00e9 tomada com um crit\u00e9rio que n\u00e3o a consegue sustentar, e o que corrige um agrava o outro.<\/p>\n
Porque a modalidade altera o estatuto do que recebemos. Um texto chega como uma afirma\u00e7\u00e3o que algu\u00e9m sustenta e que podemos p\u00f4r em d\u00favida sem esfor\u00e7o. Uma imagem ou uma voz chegam como o registo de algo que aconteceu e, por isso, entram na decis\u00e3o como prova e n\u00e3o como afirma\u00e7\u00e3o.<\/p>\n
Esse estatuto manteve-se enquanto fabricar um registo falso era caro. Em 2022, Sophie Nightingale e Hany Farid publicaram na PNAS<\/a> um trabalho que mediu quanto resta dessa garantia. As pessoas participantes acertaram em 48,2% das vezes a distinguir rostos sintetizados por IA de fotografias de pessoas reais, um resultado indistingu\u00edvel do acaso. Num segundo experimento, com treino pr\u00e9vio e retorno ap\u00f3s cada resposta, a exatid\u00e3o subiu para 59,0% e ficou a\u00ed, sem melhorar ao longo da s\u00e9rie.<\/p>\n Um terceiro experimento acrescentou um resultado mais inc\u00f3modo. Quando lhes foi pedido para classificar qu\u00e3o fi\u00e1vel parecia cada rosto numa escala de sete pontos, os rostos sint\u00e9ticos obtiveram em m\u00e9dia 4,82 e os reais 4,48. Os rostos de pessoas que n\u00e3o existem resultaram 7,7% mais fi\u00e1veis do que os de pessoas que existem.<\/p>\n Essa maneira de decidir \u00e9 conhecida como heur\u00edstica de seeing-is-believing<\/em>. Tomamos a prova audiovisual como verdadeira pela sua forma, antes de avaliar o seu conte\u00fado.<\/p>\n A evid\u00eancia dispon\u00edvel diz que n\u00e3o se consegue de forma fi\u00e1vel, e que as duas alavancas habituais de um programa n\u00e3o movem o resultado.<\/p>\n Em novembro de 2021, Nils K\u00f6bis, Barbora Dole\u017ealov\u00e1 e Ivan Soraperra publicaram na iScience<\/a> um experimento pr\u00e9-registado com 210 participantes. Cada pessoa viu dezasseis v\u00eddeos curtos, metade aut\u00eanticos e metade manipulados, e indicou quais lhe pareciam falsos. Um grupo recebeu antes um aviso sobre os danos que os deepfakes provocam, outro um incentivo econ\u00f3mico pelos acertos, e nenhuma das duas condi\u00e7\u00f5es melhorou a exatid\u00e3o face ao grupo de controlo.<\/p>\n Dois resultados adicionais do mesmo trabalho importam para o desenho de um programa. O erro n\u00e3o \u00e9 sim\u00e9trico, porque as pessoas tendem a tomar o v\u00eddeo manipulado por aut\u00eantico mais do que o contr\u00e1rio. E as pessoas sobrestimam a sua pr\u00f3pria capacidade de detetar um deepfake, com uma confian\u00e7a que a exatid\u00e3o n\u00e3o acompanha. Desse trabalho vem o nome de seeing-is-believing<\/em>.<\/p>\n Um m\u00f3dulo constru\u00eddo sobre ind\u00edcios visuais trabalha, ent\u00e3o, contra dois limites. A exatid\u00e3o quase n\u00e3o se move, nem com a motiva\u00e7\u00e3o nem com o aviso. A confian\u00e7a sim, e quem se convence de que sabe olhar verifica menos do que quem duvida. O que o m\u00f3dulo entrega \u00e9 a convic\u00e7\u00e3o.<\/p>\n A isso soma-se que o ind\u00edcio caduca. A lista de artefactos que hoje denuncia um gerador descreve os erros de uma vers\u00e3o de software, n\u00e3o uma propriedade est\u00e1vel das imagens sint\u00e9ticas. Quando o gerador \u00e9 atualizado esses erros deixam de se produzir, e desaparecem sem que ningu\u00e9m tenha melhorado a detet\u00e1-los. Cada itera\u00e7\u00e3o deixa a lista sem efeito.<\/p>\n Quando defendemos que, nos deepfakes, o m\u00e9todo pedag\u00f3gico pesa mais do que o conte\u00fado<\/a>, o argumento chegava a essa mesma conclus\u00e3o pela pr\u00e1tica de forma\u00e7\u00e3o. A evid\u00eancia experimental chega ao mesmo lugar pela perce\u00e7\u00e3o.<\/p>\n Aparece o segundo modo de falha, e cresce justamente quando a campanha cumpre o seu objetivo. Uma organiza\u00e7\u00e3o que aprendeu que qualquer registo pode ser fabricado ganha tamb\u00e9m uma raz\u00e3o nova para descartar os registos que preferiria n\u00e3o aceitar.<\/p>\n Robert Chesney e Danielle Citron descreveram-no em 2019, no volume 107 da California Law Review<\/a>, e chamaram-lhe o dividendo do mentiroso. Esse dividendo flui, de maneira perversa, em propor\u00e7\u00e3o ao \u00eaxito com que se educa o p\u00fablico sobre os perigos dos deepfakes. Quanto melhor uma audi\u00eancia compreende que um v\u00eddeo pode ser fabricado, mais f\u00e1cil se torna a algu\u00e9m negar um v\u00eddeo aut\u00eantico.<\/p>\n Numa empresa, o fen\u00f3meno chega pela via operacional muito antes de chegar pela p\u00fablica. Uma instru\u00e7\u00e3o leg\u00edtima fica sem executar porque quem a recebeu desconfiou da voz. A grava\u00e7\u00e3o de uma reuni\u00e3o perde valor como comprovativo do que ali ficou acordado. E o canal de seguran\u00e7a come\u00e7a a receber avisos que n\u00e3o trazem um ataque uma desconfian\u00e7a sem objeto em vez de um ataque, e esses avisos consomem o mesmo tempo de an\u00e1lise.<\/p>\n O custo recai sobre as \u00e1reas que precisam de acreditar em algu\u00e9m para avan\u00e7ar, como recursos humanos, finan\u00e7as, suporte e compras. Quando o crit\u00e9rio para acreditar passa a ser a convic\u00e7\u00e3o perceptiva de cada pessoa, o trabalho torna-se mais lento sem se tornar mais seguro.<\/p>\n Nenhum dos dois modos se corrige com a interven\u00e7\u00e3o pensada para o outro. A quem decide demasiado depressa sobra confian\u00e7a na sua perce\u00e7\u00e3o. A quem decide de menos falta um crit\u00e9rio que n\u00e3o dependa dela. Insistir na mensagem de que tudo pode ser falso alivia o primeiro quadro e alimenta o segundo.<\/p>\n Pelo que a pessoa faz com o pedido, antes do que pelo que acredita sobre o v\u00eddeo.<\/p>\n As duas falhas separam-se bem olhando para duas coisas: o canal que trouxe o pedido e a a\u00e7\u00e3o que dele resultou. Tr\u00eas sinais bastam para situar um programa.<\/p>\n A distin\u00e7\u00e3o assemelha-se \u00e0 que usamos para separar erro, neglig\u00eancia e inten\u00e7\u00e3o<\/a>. Uma etiqueta \u00fanica deixa o programa a aplicar a mesma corre\u00e7\u00e3o a dois quadros que n\u00e3o se parecem. Como acontece com a fadiga de seguran\u00e7a e a habitua\u00e7\u00e3o<\/a>, o que se confunde num painel separa-se observando comportamento. Por isso conv\u00e9m rever o que o programa est\u00e1 a medir<\/a> antes de lhe acrescentar um m\u00f3dulo.<\/p>\n O crit\u00e9rio de decis\u00e3o muda da perce\u00e7\u00e3o para o procedimento. Ningu\u00e9m consegue responder com precis\u00e3o se o v\u00eddeo que est\u00e1 a ver \u00e9 aut\u00eantico. O que se consegue responder \u00e9 se o canal por onde chegou esse pedido autoriza a a\u00e7\u00e3o que lhe est\u00e1 a ser pedida, e essa resposta \u00e9 verific\u00e1vel.<\/p>\n A primeira tradu\u00e7\u00e3o \u00e9 uma lista curta de a\u00e7\u00f5es que nunca se autorizam no mesmo canal em que s\u00e3o pedidas. Transfer\u00eancias, altera\u00e7\u00f5es aos dados banc\u00e1rios de um fornecedor, atribui\u00e7\u00e3o de acessos e envio de informa\u00e7\u00e3o sens\u00edvel entram nessa lista. A regra define-se com anteced\u00eancia e por tipo de a\u00e7\u00e3o, sem depender de qu\u00e3o convincente foi o pedido, e assim retira a decis\u00e3o do terreno onde a perce\u00e7\u00e3o falha. Cada organiza\u00e7\u00e3o tem a sua pr\u00f3pria vers\u00e3o dessa lista e, por isso, vale ensin\u00e1-la com conte\u00fados ajustados a cada organiza\u00e7\u00e3o<\/a> em vez de um procedimento gen\u00e9rico.<\/p>\n A segunda \u00e9 simular o canal em vez do artefacto. Uma simula\u00e7\u00e3o que treina o olho ensina a reconhecer uma vers\u00e3o da tecnologia. Uma que reproduz a sequ\u00eancia completa, com um pedido urgente que chega por uma via inabitual e prop\u00f5e saltar um passo, treina um comportamento que continua a servir quando o gerador melhora. As ferramentas de simula\u00e7\u00e3o da SMARTFENSE<\/a> operam nesse n\u00edvel, o do processo de decis\u00e3o, e por isso o que medem envelhece muito mais devagar do que o software do atacante. \u00c9 o mesmo crit\u00e9rio com que j\u00e1 coloc\u00e1mos as alavancas de persuas\u00e3o acima do canal<\/a>.<\/p>\n\u00c9 poss\u00edvel treinar uma pessoa para detetar um deepfake?<\/h2>\n
O que acontece quando o aviso funciona demasiado bem?<\/h2>\n
Como se distingue um modo do outro num programa?<\/h2>\n
\n
O que muda no desenho do programa<\/h2>\n