Tous les articles

Blog

Mesurer l'efficacité d'une formation : la complétion ne suffit pas

Mesurer l'efficacité d'une formation cybersécurité : pourquoi le taux de complétion trompe, et quels indicateurs de comportement suivre à la place.

  • Par Azziz ERRIME
  • 12 min de lecture
Poste de travail d'hôpital la nuit, une page de formation floue se ferme à l'écran

TL;DR

  • Pour mesurer l’efficacité d’une formation, le taux de complétion ne suffit pas : un module refermé aussitôt peut y compter autant qu’un module lu.
  • Sur 19 500 employés suivis pendant 8 mois, la formation annuelle n’avait aucune relation significative avec le risque de cliquer sur un phishing simulé.
  • Je présenterais au comité un indicateur de comportement, mesuré sans prévenir et refait tous les 4 à 6 mois.

En mai 2025, à San Francisco, une équipe de l’université de Californie à San Diego présente une étude menée dans son propre hôpital universitaire. Ses chercheurs ont suivi 19 500 employés pendant 8 mois. La formation que tous ont suivie n’y change presque rien au moment du clic. Pour mesurer l’efficacité d’une formation, le taux de complétion ne suffit donc pas.

La salle est celle du 46e symposium IEEE sur la sécurité et la vie privée. Grant Ho, Ariana Mirian et leurs collègues y décrivent une expérience menée chez UC San Diego Health. Pendant 8 mois, les employés reçoivent dix campagnes de phishing simulé, toutes de types différents. Quand un employé du groupe formé clique, une page de formation s’ouvre pour lui expliquer ce qu’il aurait dû repérer.

Les chercheurs regardent ensuite ce qui se passe sur cette page. Selon le communiqué de l’université, 75 % de ceux qui la reçoivent y passent une minute ou moins, et un tiers la ferment immédiatement. Dans un rapport d’activité, chacune de ces pages affichées peut figurer comme une formation délivrée.

Leur conclusion tient en une phrase : « Anti-phishing training programs, in their current and commonly deployed forms, are unlikely to offer significant practical value in reducing phishing risks. » Autrement dit, sous leur forme courante, ces programmes ont peu de chances de réduire le risque. Je ne range pas la formation au placard pour autant. Je regarde ce que l’on mesure quand on affirme qu’elle fonctionne.

À San Diego, la formation annuelle ne change rien au clic

L’étude sépare deux formats que beaucoup d’entreprises cumulent. Le premier est la formation annuelle obligatoire, celle que chaque employé suit une fois par an et qui alimente le taux de complétion. Les chercheurs n’ont trouvé aucune relation significative entre le fait de l’avoir suivie et la probabilité de cliquer sur un phishing simulé.

Le second est la formation intégrée, qui s’ouvre au moment du clic. Son effet existe, mais il reste mince, avec 2 % de clics en moins selon l’université. Sur le papier, c’est pourtant le format idéal, puisqu’il arrive à l’instant exact de l’erreur. Les durées de lecture relevées plus haut donnent une piste pour comprendre pourquoi il porte si peu.

Le troisième résultat est celui que je montrerais à un comité de direction. Le premier mois, 10 % des employés cliquent sur un lien piégé. Au bout de 8 mois, plus de la moitié ont cliqué au moins une fois. Le risque ne se limite donc pas à une poignée de distraits qu’il suffirait de reformer. Il touche plus de la moitié de l’effectif au fil des campagnes, chaque fois que le bon leurre tombe au mauvais moment.

Un taux de complétion de 100 % reste compatible avec ces trois résultats. Il dit que chacun a ouvert le module. Il ne dit rien de la réaction de cette même personne devant le prochain courriel piégé. C’est cette réaction qu’il faudrait observer pour mesurer l’efficacité d’une formation.

Plus de 14 000 employés suivis quinze mois, même constat sur la formation intégrée

On pourrait y voir un cas isolé, propre à un hôpital et à une période. L’École polytechnique fédérale de Zurich avait mené une étude du même ordre quelques années plus tôt. Lain, Kostiainen, Čapkun et leurs collègues ont suivi plus de 14 000 employés d’une grande entreprise pendant quinze mois, et présenté leurs résultats au symposium IEEE de 2022.

Leur constat sur la formation intégrée va plus loin que celui de San Diego. Telle qu’elle est déployée dans l’industrie, elle ne rend pas les employés plus résistants, et elle « can make employees even more susceptible to phishing ». Les auteurs relèvent en revanche une piste qui tient. S’appuyer sur les signalements des employés comme sur un capteur collectif de phishing reste praticable dans une grande organisation.

Le temps, lui aussi, joue contre une formation suivie une fois par an. Reinheimer et ses collègues ont suivi l’effet d’une sensibilisation au fil des mois, dans une étude présentée à la conférence SOUPS en 2020. Après 4 mois, les participants restent significativement meilleurs qu’avant la formation. Après 6 mois, l’écart avec leur niveau de départ a disparu.

Je fais le calcul pour une session annuelle. Si l’effet s’efface entre le quatrième et le sixième mois, au moins la moitié de l’année se passe sans effet mesurable. Le registre, lui, reste à jour pendant les douze mois.

Le modèle de Kirkpatrick ne compte pas les modules terminés

Les responsables formation utilisent depuis longtemps un cadre pour mesurer l’efficacité d’une formation. Donald Kirkpatrick l’a décrit à la fin des années 1950, et il découpe l’évaluation en quatre niveaux. Les définitions ci-dessous viennent de Kirkpatrick Partners, l’organisme qui porte aujourd’hui le modèle de Kirkpatrick. La dernière colonne donne un exemple en sécurité.

Niveau Ce qu’il mesure Exemple en sécurité
1. Réaction Si le public trouve la formation « favorable, engaging, relevant » Note de satisfaction en fin de module
2. Apprentissage Les connaissances et compétences acquises Quiz réussi après le module
3. Comportement Si le public « performs the critical behaviors in its environment » Phishing réel signalé, faille repérée en revue de code
4. Résultats Les effets attendus pour l’organisation Moins d’incidents, moins de failles en production

Le taux de complétion n’apparaît sur aucune ligne. Il compte les personnes passées par le module, sans même leur demander ce qu’elles en ont pensé. C’est souvent celui qu’on présente, parce que l’audit le vérifie.

La norme PCI DSS des cartes de paiement en donne un exemple. Pour contrôler un programme de sensibilisation cybersécurité, sa procédure 12.6.3.a demande à l’évaluateur d’« Examine security awareness program records to verify that personnel attend ». Des registres de présence suffisent donc à cocher la case.

Tourniquet d’entrée avec un compteur mécanique devant un couloir vide

Le compteur enregistre chaque passage au tourniquet, et rien de ce qui se passe dans le couloir.

« Nos simulations de phishing montrent pourtant une baisse »

C’est l’objection que j’entendrais en comité, et elle s’appuie sur de vrais chiffres. KnowBe4, éditeur de formations de sensibilisation, publie un rapport de comparaison par secteur. Celui de 2025 annonce une part d’employés susceptibles de cliquer qui passe de 33,1 % à 4,1 % après douze mois de formation.

Ce chiffre vient d’un éditeur qui vend ces formations, et il est mesuré sur ses propres simulations. Je soupçonne que les employés finissent par reconnaître le style des campagnes. Les études de San Diego et de Zurich mesurent elles aussi des clics sur des simulations. San Diego a toutefois varié dix types de leurres, et plus de la moitié de l’effectif a fini par cliquer.

Ariana Mirian a poursuivi le sujet en août 2025 à la conférence Black Hat USA, avec Christian Dameff. Le titre de leur présentation est explicite : « Pwning Phishing Training Through Scientific Lure Crafting ». J’en tire que si l’on sait fabriquer un leurre, on sait aussi en fabriquer un facile. Une campagne facile fait baisser le chiffre sans que personne ne soit devenu plus prudent.

Un biais voisin existe chez les développeurs qui relisent du code. Une consigne explicite de regarder la sécurité multiplie par huit la détection d’une vulnérabilité en revue de code, selon une étude présentée à ICSE en 2022. Un test annoncé mesure donc la vigilance d’un jour de test. Il surestime celle d’un mardi ordinaire, quand la même pull request arrive au milieu de toutes les autres.

Mesurer l’efficacité d’une formation sans prévenir, tous les 4 à 6 mois

Les référentiels vont déjà dans ce sens. Le NIST SP 800-50 Rev. 1, guide américain publié le 12 septembre 2024 pour bâtir un programme de formation, inclut des « suggested metrics and evaluation methods to regularly improve and update the program ». La norme ISO/IEC 27001, dans sa clause 7.2, demande d’évaluer l’efficacité des actions menées pour acquérir la compétence. La directive NIS2 exige, à son article 21, « des politiques et des procédures pour évaluer l’efficacité des mesures de gestion des risques en matière de cybersécurité ». Parmi ces mesures, le même article cite « les pratiques de base en matière de cyberhygiène et la formation à la cybersécurité ».

Pour évaluer l’efficacité d’une formation au niveau 3, je m’en tiendrais à quatre gestes :

  • choisir, pour chaque population, un comportement observable : le signalement d’un phishing et son délai pour l’ensemble des employés, ce que la revue de code laisse passer pour les développeurs ;
  • mesurer sans prévenir, sur des situations proches du quotidien, pour ne pas mesurer la vigilance d’un jour de test ;
  • refaire la mesure tous les 4 à 6 mois, puisque l’effet d’une sensibilisation s’efface entre ces deux échéances ;
  • suivre les signalements comme un capteur collectif, plutôt que les clics comme une liste de coupables.

Mesurer ne dispense pas pour autant des protections techniques recommandées par les chercheurs de San Diego. Ils citent la double authentification, et les gestionnaires de mots de passe qui ne remplissent les identifiants que sur le bon domaine. Le taux de complétion garde aussi sa place : l’auditeur en a besoin pour vérifier que le programme existe.

Chez les développeurs, la revue de code fournit déjà la matière. Les constats des revues et des tests de code, classés par type de faille, montrent ce qui passe encore après la formation. C’est aussi ce que je mesure en ce moment : ce que les développeurs repèrent, ou laissent passer, quand ils relisent du code écrit par une IA. J’en parlais dans un précédent article sur la revue de code.

Panneau de cadrans à aiguille, l’un bloqué en butée au maximum

Une aiguille bloquée en butée ne bouge plus, quoi qu’il arrive.

Une page fermée aussitôt peut compter comme une formation suivie

Je repense au tiers des employés formés de San Diego qui fermaient la page de formation dès qu’elle s’ouvrait. Chacun d’eux a reçu la formation, au sens où l’outil l’a affichée. Un outil qui compte les pages affichées les range avec ceux qui l’ont lue jusqu’au bout.

Un taux de complétion peut compter cette page affichée. Je présenterais donc au comité, à côté de lui, un indicateur de comportement mesuré sans prévenir et refait tous les 4 à 6 mois. Pour les employés, je prendrais le signalement des phishings. Pour les développeurs, les failles qui passent la revue.

Je garde un doute, car mesurer le comportement coûte plus cher que compter des modules. Je ne sais pas encore quel rythme une équipe de taille moyenne peut tenir sans lasser personne. Pour mesurer l’efficacité d’une formation, je commencerais par une seule population et un seul comportement. Puis je regarderais si la courbe bouge.

Questions fréquentes pour mesurer l’efficacité d’une formation

Comment mesurer l’efficacité d’une formation ?

Mesurer l’efficacité d’une formation revient à vérifier qu’un comportement a changé dans le travail réel, ce que le modèle de Kirkpatrick appelle le niveau 3. En sécurité, on suit un geste observable, comme le signalement d’un phishing ou les failles repérées en revue de code. On le mesure sans prévenir, et on refait la mesure tous les 4 à 6 mois.

C’est quoi le modèle de Kirkpatrick ?

Donald Kirkpatrick a décrit ce modèle à la fin des années 1950. Il évalue une formation sur quatre niveaux : la réaction des participants, ce qu’ils ont appris, leur comportement au travail, puis les résultats pour l’organisation. Les définitions de référence sont publiées par Kirkpatrick Partners.

C’est quoi le taux de complétion d’une formation ?

Le taux de complétion est la part des personnes inscrites qui ont terminé un module. Il indique que le module a été parcouru, ce que vérifient souvent les audits, sans mesurer l’apprentissage ni le comportement. Sur 19 500 employés, l’étude de UC San Diego n’a trouvé aucune relation significative entre formation annuelle et risque de clic.

Quels indicateurs suivre pour une formation en cybersécurité ?

Pour l’ensemble des employés, je suivrais le taux de signalement des phishings et son délai, ainsi que la part de clics répétés, suivie à l’échelle d’une équipe. Pour les développeurs, je regarderais la part des failles qui passent la revue de code. Le guide NIST SP 800-50 Rev. 1 propose aussi des métriques et des méthodes d’évaluation pour faire évoluer un programme.

Sources