Os deepfakes e os dois modos opostos em que um programa falha

Um programa de sensibilização acrescenta um módulo sobre deepfakes e enche-o de indícios visuais, como mãos com dedos a mais, um pestanejo irregular ou lábios que não sincronizam por completo com o áudio. Seis meses depois, o gerador que produzia esses erros ficou obsoleto e o módulo continua igual. Nesse semestre chegam duas consultas à equipa de segurança. Numa, alguém autorizou uma transferência depois de uma videochamada com quem parecia ser o diretor financeiro. Na outra, alguém recusou-se a executar uma instrução legítima porque o áudio lhe soou estranho e suspeitou de uma voz clonada.

O primeiro caso é registado como um incidente, o segundo como um atrito operacional, se chegar a ser registado. Vêm do mesmo lugar. O programa colocou o critério de decisão na perceção de cada pessoa. Treinar essa perceção não a tornou mais precisa e, ao mesmo tempo, deixou toda a organização mais avisada de que a imagem pode mentir. Desse segundo efeito sai o segundo caso.

Convém separar os dois modos antes de mexer no conteúdo do módulo. Um é a credulidade face ao audiovisual, que faz passar um pedido falso porque vem com cara e voz. O outro é uma desconfiança que se estende além do seu alvo e acaba por alcançar as provas autênticas. Partilham o sintoma, porque nos dois casos a decisão é tomada com um critério que não a consegue sustentar, e o que corrige um agrava o outro.

Porque não avaliamos um vídeo com o mesmo critério de um texto?

Porque a modalidade altera o estatuto do que recebemos. Um texto chega como uma afirmação que alguém sustenta e que podemos pôr em dúvida sem esforço. Uma imagem ou uma voz chegam como o registo de algo que aconteceu e, por isso, entram na decisão como prova e não como afirmação.

Esse estatuto manteve-se enquanto fabricar um registo falso era caro. Em 2022, Sophie Nightingale e Hany Farid publicaram na PNAS um trabalho que mediu quanto resta dessa garantia. As pessoas participantes acertaram em 48,2% das vezes a distinguir rostos sintetizados por IA de fotografias de pessoas reais, um resultado indistinguível do acaso. Num segundo experimento, com treino prévio e retorno após cada resposta, a exatidão subiu para 59,0% e ficou aí, sem melhorar ao longo da série.

Um terceiro experimento acrescentou um resultado mais incómodo. Quando lhes foi pedido para classificar quão fiável parecia cada rosto numa escala de sete pontos, os rostos sintéticos obtiveram em média 4,82 e os reais 4,48. Os rostos de pessoas que não existem resultaram 7,7% mais fiáveis do que os de pessoas que existem.

Essa maneira de decidir é conhecida como heurística de seeing-is-believing. Tomamos a prova audiovisual como verdadeira pela sua forma, antes de avaliar o seu conteúdo.

É possível treinar uma pessoa para detetar um deepfake?

A evidência disponível diz que não se consegue de forma fiável, e que as duas alavancas habituais de um programa não movem o resultado.

Em novembro de 2021, Nils Köbis, Barbora Doležalová e Ivan Soraperra publicaram na iScience um experimento pré-registado com 210 participantes. Cada pessoa viu dezasseis vídeos curtos, metade autênticos e metade manipulados, e indicou quais lhe pareciam falsos. Um grupo recebeu antes um aviso sobre os danos que os deepfakes provocam, outro um incentivo económico pelos acertos, e nenhuma das duas condições melhorou a exatidão face ao grupo de controlo.

Dois resultados adicionais do mesmo trabalho importam para o desenho de um programa. O erro não é simétrico, porque as pessoas tendem a tomar o vídeo manipulado por autêntico mais do que o contrário. E as pessoas sobrestimam a sua própria capacidade de detetar um deepfake, com uma confiança que a exatidão não acompanha. Desse trabalho vem o nome de seeing-is-believing.

Um módulo construído sobre indícios visuais trabalha, então, contra dois limites. A exatidão quase não se move, nem com a motivação nem com o aviso. A confiança sim, e quem se convence de que sabe olhar verifica menos do que quem duvida. O que o módulo entrega é a convicção.

A isso soma-se que o indício caduca. A lista de artefactos que hoje denuncia um gerador descreve os erros de uma versão de software, não uma propriedade estável das imagens sintéticas. Quando o gerador é atualizado esses erros deixam de se produzir, e desaparecem sem que ninguém tenha melhorado a detetá-los. Cada iteração deixa a lista sem efeito.

Quando defendemos que, nos deepfakes, o método pedagógico pesa mais do que o conteúdo, o argumento chegava a essa mesma conclusão pela prática de formação. A evidência experimental chega ao mesmo lugar pela perceção.

O que acontece quando o aviso funciona demasiado bem?

Aparece o segundo modo de falha, e cresce justamente quando a campanha cumpre o seu objetivo. Uma organização que aprendeu que qualquer registo pode ser fabricado ganha também uma razão nova para descartar os registos que preferiria não aceitar.

Robert Chesney e Danielle Citron descreveram-no em 2019, no volume 107 da California Law Review, e chamaram-lhe o dividendo do mentiroso. Esse dividendo flui, de maneira perversa, em proporção ao êxito com que se educa o público sobre os perigos dos deepfakes. Quanto melhor uma audiência compreende que um vídeo pode ser fabricado, mais fácil se torna a alguém negar um vídeo autêntico.

Numa empresa, o fenómeno chega pela via operacional muito antes de chegar pela pública. Uma instrução legítima fica sem executar porque quem a recebeu desconfiou da voz. A gravação de uma reunião perde valor como comprovativo do que ali ficou acordado. E o canal de segurança começa a receber avisos que não trazem um ataque uma desconfiança sem objeto em vez de um ataque, e esses avisos consomem o mesmo tempo de análise.

O custo recai sobre as áreas que precisam de acreditar em alguém para avançar, como recursos humanos, finanças, suporte e compras. Quando o critério para acreditar passa a ser a convicção perceptiva de cada pessoa, o trabalho torna-se mais lento sem se tornar mais seguro.

Nenhum dos dois modos se corrige com a intervenção pensada para o outro. A quem decide demasiado depressa sobra confiança na sua perceção. A quem decide de menos falta um critério que não dependa dela. Insistir na mensagem de que tudo pode ser falso alivia o primeiro quadro e alimenta o segundo.

Como se distingue um modo do outro num programa?

Pelo que a pessoa faz com o pedido, antes do que pelo que acredita sobre o vídeo.

As duas falhas separam-se bem olhando para duas coisas: o canal que trouxe o pedido e a ação que dele resultou. Três sinais bastam para situar um programa.

1. Executam-se ações sensíveis sem confirmação por um segundo canal. O pedido chegou por videochamada ou áudio e foi cumprido ali mesmo. A revisão útil aponta a que ações ficaram habilitadas para esse canal, antes do que a quão convincente foi o vídeo.
2. Invoca-se a possibilidade de manipulação para não cumprir um processo. A suspeita aparece de forma seletiva, sobre pedidos incómodos, e não sobre pedidos igualmente verificáveis que resultam cómodos. Distingue-se de uma dúvida genuína porque não traz consigo nenhuma tentativa de verificar.
3. O volume de comunicações cresce e a verificação não. Um canal que recebe mais avisos é uma boa notícia, desde que esses avisos terminem numa confirmação por outra via. Quando o volume sobe e ninguém liga a ninguém, o que cresceu é a ansiedade.

A distinção assemelha-se à que usamos para separar erro, negligência e intenção. Uma etiqueta única deixa o programa a aplicar a mesma correção a dois quadros que não se parecem. Como acontece com a fadiga de segurança e a habituação, o que se confunde num painel separa-se observando comportamento. Por isso convém rever o que o programa está a medir antes de lhe acrescentar um módulo.

O que muda no desenho do programa

O critério de decisão muda da perceção para o procedimento. Ninguém consegue responder com precisão se o vídeo que está a ver é autêntico. O que se consegue responder é se o canal por onde chegou esse pedido autoriza a ação que lhe está a ser pedida, e essa resposta é verificável.

A primeira tradução é uma lista curta de ações que nunca se autorizam no mesmo canal em que são pedidas. Transferências, alterações aos dados bancários de um fornecedor, atribuição de acessos e envio de informação sensível entram nessa lista. A regra define-se com antecedência e por tipo de ação, sem depender de quão convincente foi o pedido, e assim retira a decisão do terreno onde a perceção falha. Cada organização tem a sua própria versão dessa lista e, por isso, vale ensiná-la com conteúdos ajustados a cada organização em vez de um procedimento genérico.

A segunda é simular o canal em vez do artefacto. Uma simulação que treina o olho ensina a reconhecer uma versão da tecnologia. Uma que reproduz a sequência completa, com um pedido urgente que chega por uma via inabitual e propõe saltar um passo, treina um comportamento que continua a servir quando o gerador melhora. As ferramentas de simulação da SMARTFENSE operam nesse nível, o do processo de decisão, e por isso o que medem envelhece muito mais devagar do que o software do atacante. É o mesmo critério com que já colocámos as alavancas de persuasão acima do canal.

A terceira é tornar a dúvida barata. Se duvidar obriga a acusar alguém de usurpação de identidade, quase ninguém duvida. Um canal onde o aviso se envia num clique e sem custo social converte a suspeita numa ação de baixo risco, e aí o botão de comunicação faz mais pelo critério do que qualquer lista de indícios.

Nenhum programa vai devolver ao olho uma capacidade que a tecnologia já lhe retirou. O que pode fazer é deixar de lhe pedir que decida sozinho.