A ajuda automática que aumenta a confiança sem aumentar o acerto

O email vinha de paypal.co.uk, que é um domínio real da PayPal. O botão principal apontava para uma página de paypal.com que não existia. Quem clicava não chegava a lado nenhum, e ficava à mão a única coisa que na mensagem funcionava mesmo, um número de telefone para ligar. A fraude estava ali.

Uma análise automática leu esse email e chegou a uma conclusão razoável. A ação que a mensagem pedia era clicar, e o clique não levava a nenhum sítio perigoso, portanto o email estava limpo. O sistema acertou sobre a ligação e enganou-se sobre o email.

Numa experiência de 2025 com 489 participantes, quem viu esse relatório classificou bem o email 33,1% das vezes. Quem tinha apenas o conselho genérico do costume, sem qualquer análise, acertou 66,9%. Acertou o dobro das vezes.

Que o sistema se enganasse era esperado, porque qualquer classificador probabilístico se engana. O resultado explica-se pelo que aconteceu à volta desse erro. Com um relatório à vista, a verificação que o programa dava como garantida deixou de acontecer.

Em porque é que o phishing não é um problema de conhecimento escrevi que boa parte destas decisões se toma em automático, sem deliberação pelo meio. Agora há uma camada nova por cima desse mesmo problema. Algo decide antes da pessoa, e ainda por cima di-lo em voz alta. O nome que a psicologia cognitiva dá ao que acontece a seguir é viés de automação.

O que é o viés de automação?

É a tendência para aceitar a saída de um sistema automático como substituto da procura atenta de informação, em vez de a tratar como mais um dado entre outros. Surge de duas formas. Uma é seguir um conselho errado. A outra é não agir porque nada avisou.

Os dois nomes importam porque as duas formas não se veem da mesma maneira de dentro de um programa. Seguir um conselho errado deixa uma decisão registada que depois se pode revisitar. Não olhar porque nada avisou não deixa nada, porque uma verificação que não aconteceu não produz qualquer dado.

A distinção vem de uma revisão sistemática de 2012 sobre sistemas de apoio à decisão clínica, que ficou por 74 estudos e mediu quanto pesa o conselho errado. Quando o sistema errava, o risco de uma decisão incorreta subia 26% face a decidir sem ele. O terreno é clínico e fica longe de uma caixa de entrada, e o troço do trabalho que se delega é o mesmo, decidir quanta atenção merece cada caso e quanta informação é preciso procurar antes de o resolver.

A tendência já está tipificada na norma. O Regulamento europeu da IA nomeia-a no artigo 14, sobre supervisão humana, onde pede que quem supervisiona o sistema se mantenha consciente da possível tendência para confiar automaticamente ou em excesso nos resultados produzidos por um sistema de IA de risco elevado. Esse artigo aplica-se aos sistemas classificados como de risco elevado, onde um filtro de correio não entra por defeito, pelo que para um programa de sensibilização o que conta é o pressuposto de fundo. O legislador dá a tendência por esperável em qualquer pessoa que opere um sistema, ao ponto de exigir que seja trabalhada com ela.

O que muda quando a análise se engana?

Na média, o acerto não se move e a confiança sim. O email da PayPal era um dos estímulos de uma experiência de 2025 que pôs à prova três formas de ajudar a decidir, e esse é o seu resultado mais incómodo, porque descreve um grupo de pessoas que acabou mais segura dos seus juízos sem ter melhorado neles.

O desenho era simples. As 489 pessoas julgaram emails em duas rondas, primeiro sem qualquer ajuda e depois com uma de três. Um grupo recebeu conselhos genéricos, do tipo que circula em qualquer campanha. Outro recebeu um relatório específico de cada email, sempre correto. O terceiro recebeu esse mesmo relatório com os erros que um sistema real comete.

Os três partiram do mesmo sítio, à volta de 0,78 de acerto numa escala de 0 a 1. Com conselhos genéricos subiram para 0,83. Com o relatório sempre correto, para 0,93. Com o relatório realista ficaram nos 0,78, e a sua confiança subiu de 3,52 para 3,74 numa escala de 1 a 5.

A diferença de acerto entre o grupo dos conselhos genéricos e o do relatório realista não atingiu significância estatística. Uma análise específica de cada email, com tudo o que custa produzi-la, rendeu o mesmo que o conselho do costume e deixou as pessoas mais seguras.

Essa média esconde o movimento real, porque os erros do sistema estavam concentrados em poucos emails. No da PayPal o acerto desceu para 33,1%. Num email legítimo sobre uma oferta de estágio, que o relatório assinalou como suspeito, desceu para 22,2% contra 50,3% do grupo com conselhos genéricos.

O mecanismo aparece quando se olha para o sinal que acabou por pesar. No email da PayPal, quem acertou disse depois que o decisivo tinha sido a classificação de fraude, e quem se enganou apontou o destino da ligação, que é justamente o sinal que o relatório tinha lido mal. O relatório muda a ordem pela qual se olham os sinais do email, e a verificação para no dado que a máquina colocou à frente.

A experiência mediu com um painel do Reino Unido e mostrou o relatório ao lado de cada email, quando num cliente real seria preciso pedi-lo, dois limites que a própria equipa declara.

A experiência protege?

Amortece e não protege. A evidência mais clara sobre esse ponto vem de fora da segurança, de um estudo de 2023 em que 27 profissionais de radiologia leram mamografias acompanhadas de sugestões de um sistema de inteligência artificial.

Quando a sugestão estava correta, os três níveis de experiência acertaram de forma parecida, entre 79,7% e 82,3%. Quando a sugestão estava incorreta, quem tinha menos experiência caiu para 19,8% e quem tinha mais, para 45,5%. A experiência cortou o dano a metade, e o resultado foi na mesma um desabamento.

É um estudo de laboratório com leitura simulada, por isso vale como demonstração do mecanismo antes de servir como medida do seu tamanho. Mesmo com essa reserva deixa algo firme para o desenho de um programa. Se o efeito sobrevive a anos de formação específica na tarefa, não se corrige com mais formação na tarefa.

Em deepfakes e os dois modos opostos em que falha um programa defendi que treinar a perceção não a torna mais precisa. Aqui o problema chega por outro lado e acaba da mesma maneira. A formação melhora o critério de quem decide, e não muda o peso que tem uma afirmação da máquina quando aparece antes desse critério.

O que se deixa de olhar quando nada é assinalado?

É a parte do viés que não deixa rasto, e a pergunta que quase ninguém faz é o que ficou sem verificar nos emails em que o sistema não disse nada.

Quando um filtro bloqueia uma mensagem, há uma decisão visível que se pode discutir. Quando a deixa passar, não se vê nenhuma decisão, porque o email simplesmente aparece na caixa. Daí sai uma inferência que ninguém formula em voz alta e que governa o comportamento de qualquer maneira, que se o filtro não avisou a mensagem deve estar bem.

O silêncio do sistema diz bastante menos do que isso. Diz que não foi gerado um alerta, e isso inclui o caso em que o problema estava e não foi detetado. A automação não precisa de afirmar que um email é seguro para mudar o que faz quem o recebe. Basta que não diga nada, e com isso cai uma verificação que antes acontecia.

É a forma de omissão que a revisão de 2012 separa da outra, e a que não chega a nenhum painel. Em a fadiga de segurança tratei o aviso que se repete até deixar de produzir resposta. Este é o reverso, porque aqui não há aviso e a falta de aviso ensina na mesma.

Esse silêncio também faz algo à medição. Uma simulação precisa de ser deixada passar para poder ser entregue, por isso chega a caixas onde o filtro teve a voz desligada, e a taxa que sai daí descreve uma condição diferente da do dia comum. É outra razão para olhar de perto como se entrega uma simulação antes de ler a sua taxa de cliques.

O que cabe ao programa decidir

Três decisões mudam de sítio assim que se aceita que há uma camada automática que se pronuncia primeiro.

1. Separar detetar de verificar. Classificar bem um email e verificar por conta própria o que disse o sistema são duas coisas distintas, e uma percentagem de acerto mistura-as. Quem reviu o remetente e quem aceitou um veredicto automático num dia em que estava certo aparecem iguais no painel. A leitura útil está nos casos em que esse veredicto esteve mal, porque é o único momento em que a verificação muda o resultado. Essa verificação não se pode observar diretamente. O que se observa é alguém corrigir uma recomendação errada, e essa é a evidência mais acessível de que houve alguma comprovação própria.
2. Mostrar o sinal que sustenta o veredicto. Na experiência, quem trabalhou com relatórios sem erros apoiou-se sobretudo em sinais concretos, como comprovar se o domínio de quem enviava o email coincidia com a organização que a mensagem dizia representar. Quando a camada automática mostra apenas a sua conclusão, quem a lê não tem nada com que a contrastar. Quando mostra o sinal em que se baseou, deixa uma afirmação que se comprova em poucos segundos.
3. Dar consequência visível a corrigir a máquina. Quando alguém reporta algo que o filtro deixou passar e depois não acontece nada, o silêncio do filtro pesa um pouco mais da próxima vez. Esse circuito, visto do lado da operação, está desenvolvido em o hábito de reportar sem resposta.

A plataforma da SMARTFENSE resolve de origem parte dessas três decisões. O botão de relatório de phishing devolve um reconhecimento instantâneo quando o que foi reportado era uma simulação, portanto nesse caso a resposta chega no momento e não fica pendente de alguém a escrever. E o hub de relatórios inclui as curvas de resposta ao ataque, que mostram com que rapidez a organização cai face à rapidez com que reporta, junto com a janela de exposição de cada campanha.

Esse mesmo hub inclui o Smart Triage, que classifica os emails reportados por nível de risco. É exatamente o tipo de camada que este artigo tem vindo a olhar com cuidado, e por isso vale a pena dizê-lo de frente. Uma classificação assim organiza o trabalho da equipa de resposta e funciona melhor lida como uma prioridade do que como uma sentença.

Uma camada automática que se engana pouco é mais difícil de auditar do que uma que se engana muito, porque quase nunca dá motivos para desconfiar. O que o programa controla mesmo é quanto do raciocínio dessa camada fica à vista.