La ayuda automática que sube la confianza sin subir el acierto

El correo venía de paypal.co.uk, que es un dominio real de PayPal. El botón principal apuntaba a una página de paypal.com que no existía. Quien hacía clic no llegaba a ninguna parte, y entonces quedaba a mano lo único que sí funcionaba en el mensaje, un número de teléfono para llamar. El fraude estaba ahí.

Un análisis automático leyó ese correo y sacó una conclusión razonable. La acción que el mensaje pedía era hacer clic, y el clic no llevaba a ningún sitio peligroso, así que el correo estaba limpio. El sistema acertó sobre el enlace y se equivocó sobre el correo.

En un experimento de 2025 con 489 participantes, quienes vieron ese informe clasificaron bien el correo el 33,1% de las veces. Quienes tenían solamente el consejo genérico de siempre, sin ningún análisis, acertaron el 66,9%. Acertaron el doble.

Que el sistema se equivocara era esperable, porque cualquier clasificador probabilístico se equivoca. El resultado se explica por lo que pasó alrededor de ese error. Con un informe a la vista, la comprobación que el programa daba por sentada dejó de ocurrir.

En por qué el phishing no es un problema de conocimiento escribí que buena parte de estas decisiones se toma en automático, sin deliberación de por medio. Ahora hay una capa nueva encima de ese mismo problema. Algo decide antes que la persona, y además lo dice en voz alta. El nombre que la psicología cognitiva le da a lo que pasa después es sesgo de automatización.

¿Qué es el sesgo de automatización?

Es la tendencia a aceptar la salida de un sistema automático como reemplazo de la búsqueda atenta de información, en lugar de tomarla como un dato más entre otros. Aparece de dos formas. Una es seguir un consejo equivocado. La otra es no actuar porque nada avisó.

Los dos nombres importan porque las dos formas no se ven igual desde un programa. Seguir un consejo equivocado deja una decisión registrada que después se puede revisar. No mirar porque nada avisó no deja nada, porque una comprobación que no se hizo no produce ningún dato.

La distinción viene de una revisión sistemática de 2012 sobre sistemas de apoyo a la decisión clínica, que se quedó con 74 estudios y midió cuánto pesa el consejo equivocado. Cuando el sistema erraba, el riesgo de una decisión incorrecta subía un 26% respecto de decidir sin él. El terreno es clínico y está lejos de una bandeja de entrada, y el tramo del trabajo que se delega es el mismo, decidir cuánta atención merece cada caso y cuánta información hace falta buscar antes de resolverlo.

La tendencia ya está tipificada en la norma. El Reglamento europeo de IA la nombra en su artículo 14, sobre supervisión humana, al pedir que quien supervisa el sistema pueda «ser consciente de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo», y ahí mismo la llama sesgo de automatización. Ese artículo aplica a los sistemas de alto riesgo, donde un filtro de correo no entra por defecto, así que para un programa de concienciación lo que sirve es el supuesto de fondo. El legislador da la tendencia por esperable en cualquiera que opere un sistema, hasta el punto de exigir que se la trabaje con esa persona.

¿Qué cambia cuando el análisis se equivoca?

En el promedio, el acierto no se mueve y la confianza sí. El correo de PayPal era uno de los estímulos de un experimento de 2025 que puso a prueba tres formas de ayudar a decidir, y ese es su resultado más incómodo, porque describe a un grupo de personas que terminó más segura de sus juicios sin haber mejorado en ellos.

El diseño era simple. Las 489 personas juzgaron correos en dos rondas, primero sin ayuda y después con una de tres. Un grupo recibió consejos genéricos, del tipo que circula en cualquier campaña. Otro recibió un informe específico de cada correo, siempre correcto. El tercero recibió ese mismo informe con los errores que comete un sistema real.

Los tres partieron del mismo lugar, alrededor de 0,78 de acierto en una escala de 0 a 1. Con consejos genéricos subieron a 0,83. Con el informe siempre correcto, a 0,93. Con el informe realista se quedaron en 0,78, y su confianza subió de 3,52 a 3,74 en una escala de 1 a 5.

La diferencia de acierto entre el grupo de consejos genéricos y el del informe realista no alcanzó significación estadística. Un análisis específico de cada correo, con todo lo que cuesta producirlo, rindió lo mismo que el consejo de siempre y dejó a las personas más seguras.

Ese promedio esconde el movimiento real, porque los errores del sistema estaban concentrados en unos pocos correos. En el de PayPal el acierto bajó al 33,1%. En un correo legítimo sobre una oferta de prácticas, que el informe marcó como sospechoso, bajó al 22,2% contra el 50,3% del grupo con consejos genéricos.

El mecanismo aparece cuando se mira qué señal terminó pesando. En el correo de PayPal, quienes acertaron dijeron después que lo decisivo había sido la clasificación de fraude, y quienes se equivocaron señalaron el destino del enlace, que es justo la señal que el informe había leído mal. El informe cambia el orden en que se miran las señales del correo, y la comprobación se detiene en el dato que la máquina puso adelante.

El experimento midió con un panel del Reino Unido y mostró el informe al lado de cada correo, cuando en un cliente real habría que pedirlo, dos límites que el propio equipo declara.

¿La experiencia protege?

Amortigua y no protege. La evidencia más clara sobre ese punto viene de fuera de la seguridad, de un estudio de 2023 en el que 27 profesionales de la radiología leyeron mamografías acompañadas de sugerencias de un sistema de inteligencia artificial.

Cuando la sugerencia era correcta, los tres niveles de experiencia acertaron parecido, entre 79,7% y 82,3%. Cuando la sugerencia era incorrecta, quienes tenían menos experiencia cayeron al 19,8% y quienes tenían más, al 45,5%. La experiencia recortó el daño a la mitad, y aun así el resultado fue un derrumbe.

Es un estudio de laboratorio con lectura simulada, así que vale como demostración del mecanismo antes que como medida de su tamaño. Aun con esa reserva deja algo firme para el diseño de un programa. Si el efecto sobrevive a años de formación específica en la tarea, no se corrige con más formación en la tarea.

En deepfakes y los dos modos opuestos en que falla un programa planteé que entrenar la percepción no la vuelve más precisa. Acá el problema llega por otro lado y termina igual. La capacitación mejora el criterio de quien decide, y no cambia el peso que tiene una afirmación de la máquina cuando aparece antes que ese criterio.

¿Qué se deja de mirar cuando nada se marca?

Es la parte del sesgo que no deja rastro, y la pregunta que casi nunca se hace es qué se dejó de comprobar en los correos donde el sistema no dijo nada.

Cuando un filtro bloquea un mensaje, hay una decisión visible que se puede discutir. Cuando lo deja pasar, no se ve ninguna decisión, porque el correo simplemente aparece en la bandeja. De ahí sale una inferencia que nadie formula en voz alta y que igual gobierna la conducta, que si el filtro no avisó el mensaje debe estar bien.

El silencio del sistema informa bastante menos que eso. Dice que no se generó una alerta, y eso incluye el caso en que el problema estaba y no se detectó. La automatización no necesita afirmar que un correo es seguro para cambiar lo que hace quien lo recibe. Alcanza con que no diga nada, y con eso se cae una comprobación que antes ocurría.

Esa es la forma de omisión que la revisión de 2012 separa de la otra, y la que no llega a ningún tablero. En la fatiga de seguridad trabajé el aviso que se repite hasta dejar de producir respuesta. Este es el reverso, porque acá no hay aviso y la falta de aviso enseña igual.

Ese silencio también le hace algo a la medición. Una simulación necesita que se la deje pasar para poder entregarse, así que llega a bandejas donde el filtro tuvo la voz apagada, y la tasa que sale de ahí describe una condición distinta a la del día común. Es otra razón para mirar de cerca cómo se entrega una simulación antes de leer su tasa de clic.

Qué le toca decidir al programa

Tres decisiones cambian de lugar en cuanto se acepta que hay una capa automática que opina primero.

1. Separar detectar de comprobar. Clasificar bien un correo y comprobar por cuenta propia lo que dijo el sistema son dos cosas distintas, y un porcentaje de acierto las mezcla. Quien revisó el remitente y quien aceptó el veredicto automático de un día en que estaba bien se ven iguales en el tablero. La lectura útil está en los casos donde ese veredicto estuvo mal, que es el único momento en el que la comprobación cambia el resultado. Esa comprobación no se puede observar directamente. Lo que sí se observa es que alguien corrija una recomendación equivocada, y eso es la evidencia más accesible de que hubo algún chequeo propio.
2. Mostrar la señal que sostiene el veredicto. En el experimento, quienes trabajaron con informes sin errores se apoyaron sobre todo en señales concretas, como comprobar si el dominio de quien enviaba el correo coincidía con la organización que el mensaje decía representar. Cuando la capa automática muestra solamente su conclusión, quien la lee no tiene nada para contrastar. Cuando muestra la señal en la que se basó, deja una afirmación que se comprueba en pocos segundos.
3. Darle consecuencia visible a corregir a la máquina. Cuando alguien reporta algo que el filtro dejó pasar y después no ocurre nada, el silencio del filtro pesa un poco más la próxima vez. Ese circuito, visto desde la operación, está desarrollado en el hábito de reportar sin respuesta.

La plataforma de SMARTFENSE resuelve de fábrica parte de esas tres decisiones. El botón de reporte devuelve un reconocimiento instantáneo cuando lo reportado era una simulación, así que en ese caso la respuesta llega en el momento y no queda pendiente de que alguien la escriba. Y el hub de reportes incluye las curvas de respuesta al ataque, que muestran qué tan rápido cae la organización frente a qué tan rápido reporta, junto con la ventana de exposición de cada campaña.

Ese mismo hub incluye Smart Triage, que clasifica los correos reportados por nivel de riesgo. Es exactamente la clase de capa que este artículo viene mirando con cuidado, y por eso vale decirlo de frente. Una clasificación así ordena el trabajo del equipo de respuesta y funciona mejor leída como una prioridad que como una sentencia.

Una capa automática que se equivoca poco es más difícil de auditar que una que se equivoca mucho, porque casi nunca da motivos para desconfiar. Lo que el programa sí controla es cuánto del razonamiento de esa capa queda a la vista.