Un programa de concientizaci\u00f3n agrega un m\u00f3dulo sobre deepfakes y lo llena de indicios visuales, como manos con dedos de m\u00e1s, un parpadeo irregular o labios que no terminan de sincronizar con el audio. Seis meses despu\u00e9s el generador que produc\u00eda esos errores qued\u00f3 viejo y el m\u00f3dulo sigue igual. En ese semestre llegan dos consultas al equipo de seguridad. En una, alguien autoriz\u00f3 una transferencia despu\u00e9s de una videollamada con quien parec\u00eda ser el director financiero. En la otra, alguien se neg\u00f3 a ejecutar una instrucci\u00f3n leg\u00edtima porque el audio le son\u00f3 raro y sospech\u00f3 de una voz clonada.<\/p>\n
El primer caso entra como un incidente, y el segundo como una fricci\u00f3n operativa, si es que llega a anotarse. Vienen del mismo lugar. El programa puso el criterio de decisi\u00f3n en la percepci\u00f3n de cada persona. Entrenar esa percepci\u00f3n no la volvi\u00f3 m\u00e1s precisa, y al mismo tiempo dej\u00f3 a toda la organizaci\u00f3n m\u00e1s advertida de que la imagen puede mentir. De ese segundo efecto sale el segundo caso.<\/p>\n
Conviene separar los dos modos antes de tocar el contenido del m\u00f3dulo. Uno es la credulidad frente a lo audiovisual, que hace pasar un pedido falso porque viene con cara y voz. El otro es una desconfianza que se extiende m\u00e1s all\u00e1 de su objetivo y termina alcanzando a la evidencia aut\u00e9ntica. Comparten el s\u00edntoma, porque en los dos casos la decisi\u00f3n se toma con un criterio que no puede sostenerla, y lo que corrige a uno agrava al otro.<\/p>\n
Porque la modalidad cambia el estatus de lo que recibimos. Un texto llega como una afirmaci\u00f3n que alguien sostiene y que podemos poner en duda sin esfuerzo. Una imagen o una voz llegan como el registro de algo que ocurri\u00f3, y por eso entran a la decisi\u00f3n como prueba antes que como afirmaci\u00f3n.<\/p>\n
Ese estatus se sostuvo mientras fabricar un registro falso resultaba caro. En 2022, Sophie Nightingale y Hany Farid publicaron en PNAS<\/a> un trabajo que midi\u00f3 cu\u00e1nto queda de esa garant\u00eda. Las personas que participaron acertaron el 48,2% de las veces al distinguir rostros sintetizados por IA de fotograf\u00edas de personas reales, un resultado indistinguible del azar. En un segundo experimento, con entrenamiento previo y devoluci\u00f3n despu\u00e9s de cada respuesta, la exactitud subi\u00f3 al 59,0% y ah\u00ed se qued\u00f3, sin mejorar a lo largo de la serie.<\/p>\n Un tercer experimento agreg\u00f3 un resultado m\u00e1s inc\u00f3modo. Cuando se les pidi\u00f3 calificar cu\u00e1n confiable parec\u00eda cada rostro en una escala de siete puntos, los rostros sint\u00e9ticos promediaron 4,82 y los reales 4,48. Los rostros de personas que no existen resultaron un 7,7% m\u00e1s confiables que los de personas que s\u00ed existen.<\/p>\n A esa manera de decidir se la llama heur\u00edstica de seeing-is-believing<\/em>. Tomamos la evidencia audiovisual como veraz por su forma, antes de evaluar su contenido.<\/p>\n La evidencia disponible dice que no se puede de manera confiable, y que las dos palancas habituales de un programa no mueven el resultado.<\/p>\n En noviembre de 2021, Nils K\u00f6bis, Barbora Dole\u017ealov\u00e1 e Ivan Soraperra publicaron en iScience<\/a> un experimento preregistrado con 210 participantes. Cada persona vio diecis\u00e9is videos cortos, la mitad aut\u00e9nticos y la mitad manipulados, y se\u00f1al\u00f3 cu\u00e1les le parec\u00edan falsos. Un grupo recibi\u00f3 antes una advertencia sobre el da\u00f1o que producen los deepfakes, otro un incentivo econ\u00f3mico por acertar, y ninguna de las dos condiciones mejor\u00f3 la exactitud respecto del grupo de control.<\/p>\n Dos hallazgos m\u00e1s del mismo trabajo importan para el dise\u00f1o de un programa. El error no es sim\u00e9trico, porque las personas tienden a tomar el video manipulado por aut\u00e9ntico m\u00e1s que al rev\u00e9s. Y las personas sobreestiman su propia habilidad para detectar un deepfake, con una confianza que la exactitud no acompa\u00f1a. De ese trabajo sale el nombre de seeing-is-believing<\/em>.<\/p>\n Un m\u00f3dulo construido sobre indicios visuales trabaja entonces contra dos l\u00edmites. La exactitud casi no se mueve, ni con la motivaci\u00f3n ni con la advertencia. La confianza s\u00ed, y quien se convence de que sabe mirar verifica menos que quien duda. Lo que el m\u00f3dulo entrega es la convicci\u00f3n.<\/p>\n A eso se suma que el indicio caduca. La lista de artefactos que hoy delata a un generador describe los errores de una versi\u00f3n de software, no una propiedad estable de las im\u00e1genes sint\u00e9ticas. Cuando el generador se actualiza esos errores dejan de producirse, y desaparecen sin que nadie haya mejorado en detectarlos. Cada iteraci\u00f3n deja la lista sin efecto.<\/p>\n Cuando planteamos que en deepfakes el m\u00e9todo pedag\u00f3gico pesa m\u00e1s que el contenido<\/a>, el argumento llegaba a esa misma conclusi\u00f3n desde la pr\u00e1ctica de formaci\u00f3n. La evidencia experimental llega al mismo lugar desde la percepci\u00f3n.<\/p>\n Aparece el segundo modo de falla, que crece justamente cuando la campa\u00f1a cumple su objetivo. Una organizaci\u00f3n que aprendi\u00f3 que cualquier registro puede fabricarse gana tambi\u00e9n una raz\u00f3n nueva para descartar los registros que no le convenga aceptar.<\/p>\n Robert Chesney y Danielle Citron lo describieron en 2019, en el volumen 107 de la California Law Review<\/a>, y lo llamaron el dividendo del mentiroso. Ese dividendo fluye, de manera perversa, en proporci\u00f3n al \u00e9xito de educar al p\u00fablico sobre los peligros de los deepfakes. Cuanto mejor entiende una audiencia que el video puede fabricarse, m\u00e1s f\u00e1cil le resulta a alguien negar un video aut\u00e9ntico.<\/p>\n En una empresa el fen\u00f3meno llega por la v\u00eda operativa mucho antes que por la p\u00fablica. Una instrucci\u00f3n leg\u00edtima queda sin ejecutar porque quien la recibi\u00f3 sospech\u00f3 de la voz. La grabaci\u00f3n de una reuni\u00f3n pierde valor como respaldo de lo que se acord\u00f3 ah\u00ed. Y el canal de seguridad empieza a recibir avisos que traen una desconfianza sin objeto en lugar de un ataque, y esos avisos consumen el mismo tiempo de an\u00e1lisis.<\/p>\n El costo cae sobre las \u00e1reas que necesitan creerle a alguien para avanzar, como recursos humanos, finanzas, soporte y compras. Cuando el criterio para creer pasa a ser la convicci\u00f3n perceptual de cada persona, el trabajo se vuelve m\u00e1s lento sin volverse m\u00e1s seguro.<\/p>\n Ninguno de los dos modos se corrige con la intervenci\u00f3n del otro. A quien decide de m\u00e1s le sobra confianza en su percepci\u00f3n. A quien decide de menos le falta un criterio que no dependa de ella. Insistir con el mensaje de que todo puede ser falso alivia el primer cuadro y alimenta el segundo.<\/p>\n Por lo que hace la persona con el pedido, antes que por lo que cree sobre el video.<\/p>\n Las dos fallas se separan mirando dos cosas: qu\u00e9 canal trajo la solicitud y qu\u00e9 acci\u00f3n se ejecut\u00f3 a partir de ella. Tres se\u00f1ales alcanzan para ubicar a un programa.<\/p>\n El corte se parece al que usamos para separar error, negligencia e intenci\u00f3n<\/a>. Una etiqueta \u00fanica deja al programa aplicando la misma correcci\u00f3n a dos cuadros que no se parecen. Como ocurre con la fatiga de seguridad y la habituaci\u00f3n<\/a>, lo que se confunde en un tablero se separa observando conducta. Por eso conviene revisar qu\u00e9 est\u00e1 midiendo el programa<\/a> antes de sumarle un m\u00f3dulo.<\/p>\n El criterio de decisi\u00f3n se muda de la percepci\u00f3n al procedimiento. Nadie puede responder con precisi\u00f3n si el video que est\u00e1 viendo es aut\u00e9ntico. Lo que s\u00ed se puede responder es si el canal por el que lleg\u00f3 ese pedido autoriza la acci\u00f3n que le est\u00e1n pidiendo, y esa respuesta es verificable.<\/p>\n La primera traducci\u00f3n es una lista corta de acciones que nunca se autorizan en el mismo canal donde se piden. Transferencias, cambios en los datos bancarios de un proveedor, altas de accesos y env\u00edos de informaci\u00f3n sensible entran en esa lista. La regla se define por anticipado y por tipo de acci\u00f3n, sin depender de cu\u00e1n convincente result\u00f3 el pedido, y as\u00ed saca la decisi\u00f3n del terreno donde la percepci\u00f3n falla. Cada organizaci\u00f3n tiene su propia versi\u00f3n de esa lista, y por eso vale ense\u00f1arla con contenidos ajustados a cada organizaci\u00f3n<\/a> antes que con un procedimiento gen\u00e9rico.<\/p>\n La segunda es simular el canal en lugar del artefacto. Una simulaci\u00f3n que entrena el ojo ense\u00f1a a reconocer una versi\u00f3n de la tecnolog\u00eda. Una que reproduce la secuencia completa, con un pedido urgente que llega por una v\u00eda inhabitual y propone saltear un paso, entrena una conducta que sigue sirviendo cuando el generador mejora. Las herramientas de simulaci\u00f3n de SMARTFENSE<\/a> operan en ese nivel, el del proceso de decisi\u00f3n, y por eso lo que miden envejece mucho m\u00e1s despacio que el software del atacante. Es el mismo criterio con el que ya pusimos las palancas de persuasi\u00f3n por encima del canal<\/a>.<\/p>\n\u00bfSe puede entrenar a una persona para detectar un deepfake?<\/h2>\n
\u00bfQu\u00e9 pasa cuando la advertencia funciona demasiado bien?<\/h2>\n
\u00bfC\u00f3mo se distingue un modo del otro en un programa?<\/h2>\n
\n
Qu\u00e9 cambia en el dise\u00f1o del programa<\/h2>\n