Todos los artículos

Blog

Medir la eficacia de la formación: la tasa de finalización no basta

Medir la eficacia de la formación en ciberseguridad: por qué la tasa de finalización engaña y qué indicadores de comportamiento seguir en su lugar.

  • Por Azziz ERRIME
  • 13 min de lectura
Medir la eficacia de la formación: puesto de trabajo de hospital de noche, una página de formación borrosa se cierra en la pantalla

TL;DR

  • Para medir la eficacia de la formación, la tasa de finalización no basta: un módulo cerrado nada más abrirse puede contar tanto como uno leído.
  • En un seguimiento de 19 500 empleados durante 8 meses, la formación anual no guardaba ninguna relación significativa con el riesgo de hacer clic en un phishing simulado.
  • Yo presentaría al comité un indicador de comportamiento, medido sin avisar y repetido cada 4 a 6 meses.

En mayo de 2025, en San Francisco, un equipo de la Universidad de California en San Diego presenta un estudio realizado en su propio hospital universitario. Sus investigadores siguieron a 19 500 empleados durante 8 meses. La formación que todos habían completado apenas cambia nada en el momento de hacer clic. Para medir la eficacia de la formación, por tanto, la tasa de finalización no basta.

El escenario es el 46.º simposio del IEEE sobre seguridad y privacidad. Grant Ho, Ariana Mirian y sus colegas describen allí un experimento realizado en UC San Diego Health. Durante 8 meses, los empleados reciben diez campañas de phishing simulado, todas de tipos distintos. Cuando un empleado del grupo formado hace clic, se abre una página de formación que le explica lo que debería haber detectado.

Después, los investigadores observan lo que ocurre en esa página. Según el comunicado de la universidad, el 75 % de quienes la reciben pasan en ella un minuto o menos, y un tercio la cierra de inmediato. En un informe de actividad, cada una de esas páginas mostradas puede figurar como una formación impartida.

Su conclusión cabe en una frase: «Anti-phishing training programs, in their current and commonly deployed forms, are unlikely to offer significant practical value in reducing phishing risks.» Dicho de otro modo, en su forma habitual, es poco probable que estos programas reduzcan el riesgo. No por eso guardo la formación en un cajón. Me fijo en lo que se mide cuando se afirma que funciona.

En San Diego, la formación anual no influye en los clics

El estudio separa dos formatos que muchas empresas combinan. El primero es la formación anual obligatoria, la que cada empleado hace una vez al año y que alimenta la tasa de finalización. Los investigadores no encontraron ninguna relación significativa entre haberla hecho y la probabilidad de hacer clic en un phishing simulado.

El segundo es la formación integrada, que se abre en el momento del clic. Su efecto existe, pero es escaso: un 2 % menos de clics, según la universidad. Sobre el papel, sin embargo, es el formato ideal, porque llega en el instante exacto del error. Los tiempos de lectura citados más arriba dan una pista de por qué pesa tan poco.

El tercer resultado es el que yo enseñaría a un comité de dirección. El primer mes, el 10 % de los empleados hace clic en un enlace trampa. Al cabo de 8 meses, más de la mitad ha hecho clic al menos una vez. El riesgo no se limita, por tanto, a un puñado de despistados a los que bastaría con volver a formar. Alcanza a más de la mitad de la plantilla a lo largo de las campañas, cada vez que el señuelo adecuado llega en el peor momento.

Una tasa de finalización del 100 % sigue siendo compatible con estos tres resultados. Dice que cada persona abrió el módulo. No dice nada de cómo reaccionará esa misma persona ante el próximo correo trampa. Para medir la eficacia de la formación, habría que observar esa reacción.

Más de 14 000 empleados seguidos durante quince meses, la misma conclusión sobre la formación integrada

Podría parecer un caso aislado, propio de un hospital y de un periodo concreto. La Escuela Politécnica Federal de Zúrich había realizado un estudio de la misma envergadura unos años antes. Lain, Kostiainen, Čapkun y sus colegas siguieron a más de 14 000 empleados de una gran empresa durante quince meses y presentaron sus resultados en el simposio del IEEE de 2022.

Su conclusión sobre la formación integrada va más allá que la de San Diego. Tal como se despliega en la industria, no hace a los empleados más resistentes, y «can make employees even more susceptible to phishing». Los autores señalan, en cambio, una vía que se sostiene: apoyarse en las notificaciones de los empleados como en un sensor colectivo de phishing sigue siendo viable en una gran organización.

El tiempo también juega en contra de una formación que se recibe una vez al año. Reinheimer y sus colegas siguieron el efecto de una acción de concienciación a lo largo de los meses, en un estudio presentado en la conferencia SOUPS en 2020. A los 4 meses, los participantes siguen siendo significativamente mejores que antes de la formación. A los 6 meses, la diferencia con su nivel de partida ha desaparecido.

Hago la cuenta para una sesión anual. Si el efecto se desvanece entre el cuarto y el sexto mes, al menos la mitad del año transcurre sin efecto medible. El registro, en cambio, sigue al día durante los doce meses.

El modelo Kirkpatrick no cuenta los módulos terminados

Los responsables de formación llevan mucho tiempo usando un marco para medir la eficacia de la formación. Donald Kirkpatrick lo describió a finales de la década de 1950, y divide la evaluación en cuatro niveles. Las definiciones que siguen proceden de Kirkpatrick Partners, la organización que hoy sostiene el modelo Kirkpatrick. La última columna da un ejemplo en seguridad.

Nivel Qué mide Ejemplo en seguridad
1. Reacción Si el público encuentra la formación «favorable, engaging, relevant» Nota de satisfacción al terminar el módulo
2. Aprendizaje Los conocimientos y las competencias adquiridos Cuestionario superado tras el módulo
3. Comportamiento Si el público «performs the critical behaviors in its environment» Phishing real notificado, vulnerabilidad detectada en la revisión de código
4. Resultados Los efectos esperados para la organización Menos incidentes, menos vulnerabilidades en producción

La tasa de finalización no aparece en ninguna fila. Cuenta a las personas que han pasado por el módulo, sin preguntarles siquiera qué les ha parecido. A menudo es la que se presenta, porque es la que comprueba la auditoría.

La norma PCI DSS de las tarjetas de pago ofrece un ejemplo. Para comprobar un programa de concienciación en ciberseguridad, su procedimiento 12.6.3.a pide al evaluador lo siguiente: «Examine security awareness program records to verify that personnel attend». Para marcar la casilla bastan, por tanto, los registros de asistencia.

Torniquete de entrada con un contador mecánico ante un pasillo vacío

El contador registra cada paso por el torniquete, y nada de lo que ocurre en el pasillo.

«Pero en nuestras simulaciones de phishing los clics bajan»

Es la objeción que esperaría oír en el comité, y se apoya en cifras reales. KnowBe4, proveedor de formación en concienciación, publica un informe comparativo por sectores. El de 2025 afirma que la proporción de empleados propensos a hacer clic pasa del 33,1 % al 4,1 % tras doce meses de formación.

Esa cifra procede de un proveedor que vende esas formaciones, y se mide sobre sus propias simulaciones. Sospecho que los empleados acaban reconociendo el estilo de las campañas. Los estudios de San Diego y de Zúrich también miden clics en simulaciones. San Diego, sin embargo, varió diez tipos de señuelo, y más de la mitad de la plantilla acabó haciendo clic.

Ariana Mirian siguió con el tema en agosto de 2025 en la conferencia Black Hat USA, junto a Christian Dameff. El título de su presentación habla por sí solo: «Pwning Phishing Training Through Scientific Lure Crafting». Yo saco una conclusión: quien sabe fabricar un señuelo también sabe fabricar uno fácil. Una campaña fácil hace bajar la cifra sin que nadie se haya vuelto más prudente.

Entre los desarrolladores que revisan código existe un sesgo parecido. Pedir de forma explícita que se mire la seguridad multiplica por ocho la detección de una vulnerabilidad en la revisión de código, según un estudio presentado en ICSE en 2022. Una prueba anunciada mide, por tanto, la atención de un día de prueba. Sobrestima la de un martes cualquiera, cuando el mismo pull request llega entre todos los demás.

Medir la eficacia de la formación sin avisar, cada 4 a 6 meses

Los marcos de referencia ya apuntan en esa dirección. El NIST SP 800-50 Rev. 1, guía estadounidense publicada el 12 de septiembre de 2024 para construir un programa de formación, incluye «suggested metrics and evaluation methods to regularly improve and update the program». La norma ISO/IEC 27001, en su cláusula 7.2, pide evaluar la eficacia de las acciones emprendidas para adquirir la competencia. La directiva NIS2 exige, en su artículo 21, «las políticas y los procedimientos para evaluar la eficacia de las medidas para la gestión de riesgos de ciberseguridad». Entre esas medidas, el mismo artículo menciona «las prácticas básicas de ciberhigiene y formación en ciberseguridad».

Para evaluar la eficacia de una formación en el nivel 3, me quedaría con cuatro pasos:

  • elegir, para cada colectivo, un comportamiento observable: la notificación de un phishing y su plazo para el conjunto de los empleados, lo que la revisión de código deja pasar en el caso de los desarrolladores;
  • medir sin avisar, en situaciones parecidas a las del día a día, para no medir la atención de un día de prueba;
  • repetir la medición cada 4 a 6 meses, ya que el efecto de la concienciación se desvanece entre esos dos plazos;
  • seguir las notificaciones como un sensor colectivo, en lugar de los clics como una lista de culpables.

Medir no exime, con todo, de las protecciones técnicas que recomiendan los investigadores de San Diego. Citan la autenticación de doble factor y los gestores de contraseñas que solo rellenan las credenciales en el dominio correcto. La tasa de finalización también conserva su sitio: el auditor la necesita para comprobar que el programa existe.

En el caso de los desarrolladores, la revisión de código ya proporciona el material. Los hallazgos de las revisiones y de las pruebas de código, clasificados por tipo de vulnerabilidad, muestran lo que sigue colándose después de la formación. Es también lo que mido ahora mismo: lo que los desarrolladores detectan, o dejan pasar, cuando revisan código escrito por una IA. Hablaba de ello en un artículo anterior sobre la revisión de código.

Panel de diales de aguja, uno de ellos bloqueado en el tope máximo

Una aguja bloqueada en el tope ya no se mueve, pase lo que pase.

Una página cerrada al instante puede contar como formación completada

Vuelvo a pensar en ese tercio de empleados formados de San Diego que cerraban la página de formación en cuanto se abría. Cada uno de ellos recibió la formación, en el sentido de que la herramienta se la mostró. Una herramienta que cuenta las páginas mostradas los coloca junto a quienes la leyeron hasta el final.

Una tasa de finalización puede contar esa página mostrada. Por eso yo presentaría al comité, a su lado, un indicador de comportamiento medido sin avisar y repetido cada 4 a 6 meses. Para los empleados, tomaría la notificación de phishing. Para los desarrolladores, las vulnerabilidades que superan la revisión.

Me queda una duda, porque medir el comportamiento cuesta más que contar módulos. Todavía no sé qué ritmo puede mantener un equipo de tamaño medio sin cansar a nadie. Para medir la eficacia de la formación, empezaría por un solo colectivo y un solo comportamiento. Luego miraría si la curva se mueve.

Preguntas frecuentes sobre cómo medir la eficacia de la formación

¿Cómo medir la eficacia de la formación?

Medir la eficacia de la formación consiste en comprobar que un comportamiento ha cambiado en el trabajo real, lo que el modelo Kirkpatrick llama nivel 3. En seguridad, se sigue un gesto observable, como la notificación de un phishing o las vulnerabilidades detectadas en la revisión de código. Se mide sin avisar, y la medición se repite cada 4 a 6 meses.

¿Qué es el modelo Kirkpatrick?

Donald Kirkpatrick describió este modelo a finales de la década de 1950. Evalúa una formación en cuatro niveles: la reacción de los participantes, lo que han aprendido, su comportamiento en el trabajo y, por último, los resultados para la organización. Las definiciones de referencia las publica Kirkpatrick Partners.

¿Qué es la tasa de finalización de una formación?

La tasa de finalización es la proporción de personas inscritas que han terminado un módulo. Indica que el módulo se ha recorrido, algo que suelen comprobar las auditorías, sin medir ni el aprendizaje ni el comportamiento. Con 19 500 empleados, el estudio de UC San Diego no encontró ninguna relación significativa entre la formación anual y el riesgo de hacer clic.

¿Qué indicadores seguir en una formación en ciberseguridad?

Para el conjunto de los empleados, seguiría la tasa de notificación de phishing y su plazo, así como la proporción de clics repetidos, observada a escala de equipo. Para los desarrolladores, miraría la proporción de vulnerabilidades que superan la revisión de código. La guía NIST SP 800-50 Rev. 1 también propone métricas y métodos de evaluación para hacer evolucionar un programa.

Fuentes