Deepfakes y los dos modos opuestos en que falla un programa

Un programa de concienciación agrega un módulo sobre deepfakes y lo llena de indicios visuales, como manos con dedos de más, un parpadeo irregular o labios que no terminan de sincronizar con el audio. Seis meses después el generador que producía esos errores quedó viejo y el módulo sigue igual. En ese semestre llegan dos consultas al equipo de seguridad. En una, alguien autorizó una transferencia después de una videollamada con quien parecía ser el director financiero. En la otra, alguien se negó a ejecutar una instrucción legítima porque el audio le sonó raro y sospechó de una voz clonada.

El primer caso entra como un incidente, y el segundo como una fricción operativa, si es que llega a anotarse. Vienen del mismo lugar. El programa puso el criterio de decisión en la percepción de cada persona. Entrenar esa percepción no la volvió más precisa, y al mismo tiempo dejó a toda la organización más advertida de que la imagen puede mentir. De ese segundo efecto sale el segundo caso.

Conviene separar los dos modos antes de tocar el contenido del módulo. Uno es la credulidad frente a lo audiovisual, que hace pasar un pedido falso porque viene con cara y voz. El otro es una desconfianza que se extiende más allá de su objetivo y termina alcanzando a la evidencia auténtica. Comparten el síntoma, porque en los dos casos la decisión se toma con un criterio que no puede sostenerla, y lo que corrige a uno agrava al otro.

¿Por qué no evaluamos un video con el mismo criterio que un texto?

Porque la modalidad cambia el estatus de lo que recibimos. Un texto llega como una afirmación que alguien sostiene y que podemos poner en duda sin esfuerzo. Una imagen o una voz llegan como el registro de algo que ocurrió, y por eso entran a la decisión como prueba antes que como afirmación.

Ese estatus se sostuvo mientras fabricar un registro falso resultaba caro. En 2022, Sophie Nightingale y Hany Farid publicaron en PNAS un trabajo que midió cuánto queda de esa garantía. Las personas que participaron acertaron el 48,2% de las veces al distinguir rostros sintetizados por IA de fotografías de personas reales, un resultado indistinguible del azar. En un segundo experimento, con entrenamiento previo y devolución después de cada respuesta, la exactitud subió al 59,0% y ahí se quedó, sin mejorar a lo largo de la serie.

Un tercer experimento agregó un resultado más incómodo. Cuando se les pidió calificar cuán confiable parecía cada rostro en una escala de siete puntos, los rostros sintéticos promediaron 4,82 y los reales 4,48. Los rostros de personas que no existen resultaron un 7,7% más confiables que los de personas que sí existen.

A esa manera de decidir se la llama heurística de seeing-is-believing. Tomamos la evidencia audiovisual como veraz por su forma, antes de evaluar su contenido.

¿Se puede entrenar a una persona para detectar un deepfake?

La evidencia disponible dice que no se puede de manera confiable, y que las dos palancas habituales de un programa no mueven el resultado.

En noviembre de 2021, Nils Köbis, Barbora Doležalová e Ivan Soraperra publicaron en iScience un experimento preregistrado con 210 participantes. Cada persona vio dieciséis videos cortos, la mitad auténticos y la mitad manipulados, y señaló cuáles le parecían falsos. Un grupo recibió antes una advertencia sobre el daño que producen los deepfakes, otro un incentivo económico por acertar, y ninguna de las dos condiciones mejoró la exactitud respecto del grupo de control.

Dos hallazgos más del mismo trabajo importan para el diseño de un programa. El error no es simétrico, porque las personas tienden a tomar el video manipulado por auténtico más que al revés. Y las personas sobreestiman su propia habilidad para detectar un deepfake, con una confianza que la exactitud no acompaña. De ese trabajo sale el nombre de seeing-is-believing.

Un módulo construido sobre indicios visuales trabaja entonces contra dos límites. La exactitud casi no se mueve, ni con la motivación ni con la advertencia. La confianza sí, y quien se convence de que sabe mirar verifica menos que quien duda. Lo que el módulo entrega es la convicción.

A eso se suma que el indicio caduca. La lista de artefactos que hoy delata a un generador describe los errores de una versión de software, no una propiedad estable de las imágenes sintéticas. Cuando el generador se actualiza esos errores dejan de producirse, y desaparecen sin que nadie haya mejorado en detectarlos. Cada iteración deja la lista sin efecto.

Cuando planteamos que en deepfakes el método pedagógico pesa más que el contenido, el argumento llegaba a esa misma conclusión desde la práctica de formación. La evidencia experimental llega al mismo lugar desde la percepción.

¿Qué pasa cuando la advertencia funciona demasiado bien?

Aparece el segundo modo de falla, que crece justamente cuando la campaña cumple su objetivo. Una organización que aprendió que cualquier registro puede fabricarse gana también una razón nueva para descartar los registros que no le convenga aceptar.

Robert Chesney y Danielle Citron lo describieron en 2019, en el volumen 107 de la California Law Review, y lo llamaron el dividendo del mentiroso. Ese dividendo fluye, de manera perversa, en proporción al éxito de educar al público sobre los peligros de los deepfakes. Cuanto mejor entiende una audiencia que el video puede fabricarse, más fácil le resulta a alguien negar un video auténtico.

En una empresa el fenómeno llega por la vía operativa mucho antes que por la pública. Una instrucción legítima queda sin ejecutar porque quien la recibió sospechó de la voz. La grabación de una reunión pierde valor como respaldo de lo que se acordó ahí. Y el canal de seguridad empieza a recibir avisos que traen una desconfianza sin objeto en lugar de un ataque, y esos avisos consumen el mismo tiempo de análisis.

El costo cae sobre las áreas que necesitan creerle a alguien para avanzar, como recursos humanos, finanzas, soporte y compras. Cuando el criterio para creer pasa a ser la convicción perceptual de cada persona, el trabajo se vuelve más lento sin volverse más seguro.

Ninguno de los dos modos se corrige con la intervención del otro. A quien decide de más le sobra confianza en su percepción. A quien decide de menos le falta un criterio que no dependa de ella. Insistir con el mensaje de que todo puede ser falso alivia el primer cuadro y alimenta el segundo.

¿Cómo se distingue un modo del otro en un programa?

Por lo que hace la persona con el pedido, antes que por lo que cree sobre el video.

Las dos fallas se separan mirando dos cosas: qué canal trajo la solicitud y qué acción se ejecutó a partir de ella. Tres señales alcanzan para ubicar a un programa.

1. Se ejecutan acciones sensibles sin confirmación por un segundo canal. El pedido llegó por videollamada o por audio y se cumplió ahí mismo. La revisión útil apunta a qué acciones quedaron habilitadas para ese canal, y no a cuán convincente resultó el video.
2. Se invoca la posibilidad de manipulación para no cumplir un proceso. La sospecha aparece de manera selectiva, sobre pedidos incómodos, y no sobre pedidos igual de verificables que resultan cómodos. Se distingue de una duda genuina porque no trae ningún intento de verificar.
3. El volumen de reportes crece y la verificación no. Un canal que recibe más avisos es una buena noticia, mientras esos avisos terminen en una confirmación por otra vía. Cuando el volumen sube y nadie llama a nadie, lo que creció es la ansiedad.

El corte se parece al que usamos para separar error, negligencia e intención. Una etiqueta única deja al programa aplicando la misma corrección a dos cuadros que no se parecen. Como ocurre con la fatiga de seguridad y la habituación, lo que se confunde en un tablero se separa observando conducta. Por eso conviene revisar qué está midiendo el programa antes de sumarle un módulo.

Qué cambia en el diseño del programa

El criterio de decisión se muda de la percepción al procedimiento. Nadie puede responder con precisión si el video que está viendo es auténtico. Lo que sí se puede responder es si el canal por el que llegó ese pedido autoriza la acción que le están pidiendo, y esa respuesta es verificable.

La primera traducción es una lista corta de acciones que nunca se autorizan en el mismo canal donde se piden. Transferencias, cambios en los datos bancarios de un proveedor, altas de accesos y envíos de información sensible entran en esa lista. La regla se define por anticipado y por tipo de acción, sin depender de cuán convincente resultó el pedido, y así saca la decisión del terreno donde la percepción falla. Cada organización tiene su propia versión de esa lista, y por eso vale enseñarla con contenidos ajustados a cada organización antes que con un procedimiento genérico.

La segunda es simular el canal en lugar del artefacto. Una simulación que entrena el ojo enseña a reconocer una versión de la tecnología. Una que reproduce la secuencia completa, con un pedido urgente que llega por una vía inhabitual y propone saltear un paso, entrena una conducta que sigue sirviendo cuando el generador mejora. Las herramientas de simulación de SMARTFENSE operan en ese nivel, el del proceso de decisión, y por eso lo que miden envejece mucho más despacio que el software del atacante. Es el mismo criterio con el que ya pusimos las palancas de persuasión por encima del canal.

La tercera es abaratar la duda. Si dudar obliga a acusar a alguien de suplantación, casi nadie duda. Un canal donde el aviso se envía en un clic y sin costo social convierte la sospecha en una acción de bajo riesgo, y ahí el botón de reporte hace más por el criterio que cualquier lista de indicios.

Ningún programa va a devolverle al ojo una capacidad que la tecnología ya le quitó. Lo que sí puede hacer es dejar de pedirle que decida solo.