Todos os artigos

Blog

Avaliar a eficácia da formação: a taxa de conclusão não chega

Avaliar a eficácia da formação em cibersegurança: porque é que a taxa de conclusão engana e que indicadores de comportamento acompanhar em vez dela.

  • Por Azziz ERRIME
  • 12 min de leitura
Avaliar a eficácia da formação: posto de trabalho de hospital à noite, com uma página de formação desfocada a fechar-se no ecrã

TL;DR

  • Para avaliar a eficácia da formação, a taxa de conclusão não chega: um módulo fechado logo a seguir pode contar tanto como um módulo lido.
  • Em 19 500 funcionários acompanhados durante 8 meses, a formação anual não tinha qualquer relação significativa com o risco de clicar num phishing simulado.
  • Eu levaria à comissão executiva um indicador de comportamento, medido sem aviso e repetido a cada 4 a 6 meses.

Em maio de 2025, em São Francisco, uma equipa da Universidade da Califórnia em San Diego apresenta um estudo feito no seu próprio hospital universitário. Os investigadores acompanharam 19 500 funcionários durante 8 meses. A formação que todos tinham feito quase nada muda no momento do clique. Para avaliar a eficácia da formação, a taxa de conclusão não chega.

O palco é o 46.º simpósio do IEEE sobre segurança e privacidade. Grant Ho, Ariana Mirian e os colegas descrevem ali uma experiência realizada na UC San Diego Health. Durante 8 meses, os funcionários recebem dez campanhas de phishing simulado, todas de tipos diferentes. Quando um funcionário do grupo com formação clica, abre-se uma página de formação que lhe explica o que devia ter detetado.

Os investigadores observam depois o que se passa nessa página. Segundo o comunicado da universidade, 75 % de quem a recebe fica lá um minuto ou menos, e um terço fecha-a de imediato. Num relatório de atividade, cada uma destas páginas apresentadas pode constar como uma formação ministrada.

A conclusão cabe numa frase: «Anti-phishing training programs, in their current and commonly deployed forms, are unlikely to offer significant practical value in reducing phishing risks.» Ou seja, na forma habitual, é pouco provável que estes programas reduzam o risco. Nem por isso arrumo a formação na gaveta. Olho, sim, para o que se mede quando se afirma que ela funciona.

Em San Diego, a formação anual não altera em nada o clique

O estudo separa dois formatos que muitas empresas acumulam. O primeiro é a formação anual obrigatória, a que cada funcionário faz uma vez por ano e que alimenta a taxa de conclusão. Os investigadores não encontraram qualquer relação significativa entre tê-la feito e a probabilidade de clicar num phishing simulado.

O segundo é a formação integrada, que se abre no momento do clique. Tem efeito, mas pequeno: menos 2 % de cliques, segundo a universidade. No papel, porém, é o formato ideal, porque chega no instante exato do erro. Os tempos de leitura referidos acima dão uma pista para perceber porque pesa tão pouco.

O terceiro resultado é o que eu mostraria a uma comissão executiva. No primeiro mês, 10 % dos funcionários clicam num link armadilhado. Ao fim de 8 meses, mais de metade clicou pelo menos uma vez. O risco não se limita, portanto, a um punhado de distraídos que bastaria voltar a formar. Atinge mais de metade do efetivo ao longo das campanhas, sempre que o isco certo chega no momento errado.

Uma taxa de conclusão de 100 % continua compatível com estes três resultados. Diz que cada pessoa abriu o módulo. Nada diz sobre a forma como essa mesma pessoa vai reagir ao próximo email armadilhado. Para avaliar a eficácia da formação, teria de se observar essa reação.

Mais de 14 000 funcionários acompanhados durante quinze meses, a mesma conclusão sobre a formação integrada

Podia ver-se aqui um caso isolado, próprio de um hospital e de uma época. A Escola Politécnica Federal de Zurique tinha feito um estudo semelhante alguns anos antes. Lain, Kostiainen, Čapkun e colegas acompanharam mais de 14 000 funcionários de uma grande empresa durante quinze meses e apresentaram os resultados no simpósio do IEEE de 2022.

Sobre a formação integrada, vão mais longe do que San Diego. Tal como a indústria a implementa, não torna os funcionários mais resistentes e «can make employees even more susceptible to phishing». Em contrapartida, os autores identificam uma via que se aguenta. Usar os reportes dos funcionários como um sensor coletivo de phishing continua a ser viável numa grande organização.

Também o tempo joga contra uma formação feita uma vez por ano. Reinheimer e colegas acompanharam o efeito de uma ação de sensibilização ao longo dos meses, num estudo apresentado na conferência SOUPS em 2020. Passados 4 meses, os participantes continuam significativamente melhores do que antes da formação. Passados 6 meses, a diferença em relação ao nível de partida desapareceu.

Faço as contas para uma sessão anual. Se o efeito se desvanece entre o quarto e o sexto mês, pelo menos metade do ano passa sem efeito mensurável. O registo, esse, mantém-se em dia durante os doze meses.

O modelo de Kirkpatrick não conta módulos concluídos

Os responsáveis de formação usam há muito um quadro de referência para a avaliação da eficácia da formação. Donald Kirkpatrick descreveu-o no final dos anos 1950, e o modelo divide a avaliação em quatro níveis. As definições abaixo vêm da Kirkpatrick Partners, a entidade que hoje gere o modelo de Kirkpatrick. A última coluna dá um exemplo em segurança.

Nível O que mede Exemplo em segurança
1. Reação Se o público considera a formação «favorable, engaging, relevant» Nota de satisfação no fim do módulo
2. Aprendizagem Os conhecimentos e as competências adquiridos Quiz concluído com sucesso depois do módulo
3. Comportamento Se o público «performs the critical behaviors in its environment» Phishing real reportado, vulnerabilidade detetada em code review
4. Resultados Os efeitos esperados para a organização Menos incidentes, menos vulnerabilidades em produção

A taxa de conclusão não aparece em nenhuma linha. Conta as pessoas que passaram pelo módulo, sem sequer lhes perguntar o que acharam. Muitas vezes é a que se apresenta, porque a auditoria a verifica.

A norma PCI DSS, dos cartões de pagamento, dá um exemplo disso. Para verificar um programa de sensibilização em cibersegurança, o seu procedimento 12.6.3.a pede ao avaliador: «Examine security awareness program records to verify that personnel attend». Bastam, portanto, registos de presença para pôr o visto.

Torniquete de entrada com um contador mecânico à frente de um corredor vazio

O contador regista cada passagem no torniquete e nada do que acontece no corredor.

«Mas as nossas simulações de phishing mostram uma descida»

Esta é a objeção que eu ouviria na comissão executiva, e assenta em números reais. A KnowBe4, fornecedora de formações de sensibilização, publica um relatório comparativo por setor. O de 2025 indica que a proporção de funcionários suscetíveis de clicar passa de 33,1 % para 4,1 % após doze meses de formação.

Este número vem de um fornecedor que vende essas formações e é medido nas suas próprias simulações. Suspeito que os funcionários acabam por reconhecer o estilo das campanhas. Os estudos de San Diego e de Zurique também medem cliques em simulações. San Diego, no entanto, variou dez tipos de isco, e mais de metade do efetivo acabou por clicar.

Ariana Mirian voltou ao tema em agosto de 2025, na conferência Black Hat USA, com Christian Dameff. O título da apresentação de ambos é explícito: «Pwning Phishing Training Through Scientific Lure Crafting». Daqui retiro que quem sabe fabricar um isco também sabe fabricar um fácil. Uma campanha fácil faz baixar o número sem que ninguém tenha ficado mais prudente.

Há um enviesamento parecido entre os programadores que reveem código. Uma instrução explícita para olhar para a segurança multiplica por oito a deteção de uma vulnerabilidade em code review, segundo um estudo apresentado no ICSE em 2022. Um teste anunciado mede, portanto, a vigilância de um dia de teste. E sobrestima a de uma terça-feira qualquer, quando o mesmo pull request chega no meio de todos os outros.

Avaliar a eficácia da formação sem aviso, a cada 4 a 6 meses

Os referenciais já apontam neste sentido. O NIST SP 800-50 Rev. 1, guia norte-americano publicado a 12 de setembro de 2024 para construir um programa de formação, inclui «suggested metrics and evaluation methods to regularly improve and update the program». A norma ISO/IEC 27001, na cláusula 7.2, pede que se avalie a eficácia das ações tomadas para adquirir a competência. A diretiva NIS2 exige, no artigo 21.º, «políticas e procedimentos para avaliar a eficácia das medidas de gestão dos riscos de cibersegurança». Entre essas medidas, o mesmo artigo refere «práticas básicas de ciber-higiene e formação em cibersegurança».

Para avaliar a eficácia da formação no nível 3, eu limitar-me-ia a quatro passos:

  • escolher, para cada população, um comportamento observável: o reporte de um phishing e o tempo que demora, para todos os funcionários, o que o code review deixa passar, para os programadores;
  • medir sem aviso, em situações próximas do dia a dia, para não medir a vigilância de um dia de teste;
  • repetir a medição a cada 4 a 6 meses, já que o efeito de uma ação de sensibilização se desvanece entre esses dois marcos;
  • acompanhar os reportes como um sensor coletivo, em vez de tratar os cliques como uma lista de culpados.

Medir não dispensa, ainda assim, as proteções técnicas recomendadas pelos investigadores de San Diego. Referem a autenticação de dois fatores e os gestores de palavras-passe que só preenchem as credenciais no domínio certo. A taxa de conclusão também mantém o seu lugar: o auditor precisa dela para verificar que o programa existe.

Nos programadores, o code review já fornece a matéria-prima. As constatações das revisões e dos testes de código, classificadas por tipo de vulnerabilidade, mostram o que ainda passa depois da formação. É também o que estou a medir neste momento: o que os programadores detetam, ou deixam passar, quando reveem código escrito por uma IA. Falei disso num artigo anterior sobre code review.

Painel de mostradores de ponteiro, um deles encravado no máximo

Um ponteiro encravado no batente já não se mexe, aconteça o que acontecer.

Uma página fechada de imediato pode contar como formação concluída

Volto a pensar no terço dos funcionários formados de San Diego que fechava a página de formação mal ela se abria. Cada um deles recebeu a formação, no sentido em que a ferramenta a apresentou. Uma ferramenta que conta páginas apresentadas põe-nos ao lado de quem a leu até ao fim.

Uma taxa de conclusão pode contar essa página apresentada. Por isso, eu levaria à comissão executiva, ao lado dela, um indicador de comportamento medido sem aviso e repetido a cada 4 a 6 meses. Para os funcionários, escolheria o reporte de phishing. Para os programadores, as vulnerabilidades que passam o code review.

Fico com uma dúvida, porque medir o comportamento sai mais caro do que contar módulos. Ainda não sei que ritmo uma equipa de dimensão média consegue manter sem cansar ninguém. Para avaliar a eficácia da formação, começaria por uma única população e um único comportamento. Depois, veria se a curva se mexe.

Perguntas frequentes sobre como avaliar a eficácia da formação

Como avaliar a eficácia da formação?

Avaliar a eficácia da formação é verificar se um comportamento mudou no trabalho real, aquilo a que o modelo de Kirkpatrick chama nível 3. Em segurança, acompanha-se um gesto observável, como o reporte de um phishing ou as vulnerabilidades detetadas em code review. Mede-se sem aviso e repete-se a medição a cada 4 a 6 meses.

O que é o modelo de Kirkpatrick?

Donald Kirkpatrick descreveu este modelo no final dos anos 1950. Avalia uma formação em quatro níveis: a reação dos participantes, o que aprenderam, o seu comportamento no trabalho e, por fim, os resultados para a organização. A Kirkpatrick Partners publica as definições de referência.

O que é a taxa de conclusão de uma formação?

A taxa de conclusão é a proporção de pessoas inscritas que terminaram um módulo. Indica que o módulo foi percorrido, o que as auditorias costumam verificar, sem medir a aprendizagem nem o comportamento. Em 19 500 funcionários, o estudo da UC San Diego não encontrou qualquer relação significativa entre a formação anual e o risco de clique.

Que indicadores acompanhar numa formação em cibersegurança?

Para o conjunto dos funcionários, eu acompanharia a taxa de reporte de phishing e o tempo de reporte, bem como a proporção de cliques repetidos, vista equipa a equipa. Para os programadores, olharia para a proporção de vulnerabilidades que passam o code review. O guia NIST SP 800-50 Rev. 1 também propõe métricas e métodos de avaliação para fazer evoluir um programa.

Fontes