[:fr]La parole est aux speakers : Julien BRAURE[:]
[:fr]Jusqu’à l’AFUP Day 2020, retrouvez nos interviews de speakers pour mieux comprendre leur parcours et le sujet qu’ils ou elles aborderont lors de leur conférence !
La conférence
Vos tests sont-ils de qualité ? Découvrez le avec le Mutation TestingManual testing, c'est déja ca 😉 Automated Unit Testing, c'est un bon début Integration Testing, un cran plus haut niveau et après ? Lors de ces procédure de tests il est (trop) souvent mis en avant qu'une des metrics reine est le code-coverage. Cependant, c'est plutot le nombre d'assertions qui prime au final, le coverage étant surtout le nombre de lignes ayant été exécutées durant les tests. En poussant à l'extrême, on peut facilement imaginer un code 100% "couvert" par les tests, mais avec 0 assertion, ces tests "blancs" (passeront donc quelques soient les entrées) mais à fort coverage, semble avoir une valeur ajoutée. Une deuxième hantise du testeur est de "Ne jamais faire confiance à 1 test que l'on a jamais vu FAIL". C'est là que le Mutation Testing entre en scene. Des frameworks existent (en PHP il y a Infection https://infection.github.io ) qui vont prendre les 2 "artifacts" existants déjà dans votre projet (le code source et vos tests) et va tout simplement
Une approche simple, mais coûteuse sur le temps de build, d'avoir un bon retour sur la qualité et valeur réelle de vos tests, et ce avec un cout d'entrée vraiment faible. Une approche où finalement le but est d'avoir des tests qui FAIL ! mais aussi surtout pour le plaisir de tuer des mutants 😉 |
En ligne 19/06/2020 11:15-11:55 |
Ton sujet portera sur le mutation testing. Comment as-tu découvert cette pratique ?
Je cherchais simplement à améliorer ma pratique de tests. Une conversation banale sur un projet IT:
– « J’ai fini !
– Merci, mais as-tu testé ton code ?
– Oui, oui, manuellement.
– Ah, écris donc des tests automatisés !
– Ok…
– J’ai ajouté des tests !
– Merci ! Mais au fait, as-tu testé tes tests ?
– Pardon ? »
J’ai souvent entendu (et je le répète maintenant à celles et ceux qui veulent l’entendre) « Ne faites jamais confiance à un test que vous n’avez pas vu rouge ».
Au début, on écrit un test, il est vert, on est content. Mais ce test est-il pertinent mais également fiable ? Je changeais donc subtilement mon code source, et j’espérais voir mon test passer au rouge, et honnêtement ce n’est pas toujours le cas…
Au final, j’ai réalisé que je faisais du Mutation Testing, sans le savoir, car je le faisais manuellement. Le Mutation Testing, c’est simplement un outil qui automatise ce travail laborieux pour vous. Je cherchais également un outil me permettant de mesurer de la qualité des tests lors que je reprenais un projet.
Il est parfois difficile de vendre à sa direction du temps pour effectuer des tests. Comment vendre au mieux du temps passé sur du mutation testing ? Quel est son retour sur investissement ?
La bonne nouvelle avec le Mutation Testing, c’est que c’est plus un outil à utiliser que du temps de développement. Au final, vous possédez déjà les 2 choses essentielles dont vous avez besoin:
1. votre code source
2. vos tests (unitaires ou d’intégration)
À partir de ces 2 ingrédients, il vous reste à configurer l’outil de Mutation Testing, et vous le faites tourner pour obtenir un rapport et un score. L’investissement est plus dans l’analyse de ce rapport, et ensuite les modifications de vos tests, et/ou de votre code source, afin d’améliorer l’un et/ou l’autre. Son retour sur investissement est donc des tests de meilleure qualité (fiabilité et pertinence), grâce à une métrique : le MSI (Mutation Score Index), qui idéalement est de 100%.
Avoir beaucoup de tests, et/ou une couverture de code haute, mais un score de MSI bas est un bon signal d’alarme.
On cherche toujours à réduire au maximum les temps de build en intégration continue, faire du Mutation Testing ne va-t-il pas à l’encontre de ça ?
Oui, c’est vrai. Inévitablement rien n’est gratuit. La qualité c’est un coût ! Si vous investissez dans la qualité, mieux vaut donc la mesurer, ce qui est également indispensable si vous voulez l’améliorer.
Au départ, faire tourner ses tests une fois peut déjà être long, donc en effet les faire tourner N fois pour tuer les mutants générés va forcément prendre du temps. Cependant, plusieurs leviers peuvent être explorés:
1. Il n’est pas nécessaire de jouer tous les tests pour tuer un mutant donné. En théorie un seul test suffit ! L’outil de Mutation peut être guidé afin qu’il commence par le(s) test(s) le(s) plus pertinent(s), par exemple en ajoutant des annotations « @covers » sur les tests.
2. Il n’est pas nécessaire de faire tourner le Mutation Testing à chaque commit sur une branche, ni à chaque merge sur develop. On pourrait simplement faire tourner le Mutation Testing 1 fois par jour ou par semaine (la nuit et/ou weekend)… On peut également ne le faire que sur la branche principale au lieu de toutes les features branches.
3. Il est également possible de faire tourner le Mutation Testing en parallèle, mais cela peut apporter son lot de conflits, généralement avec les tests d’intégration.
Une conférence présentée par
 Julien BRAURE |
Julien est un développeur confirmé, tant en PHP que Java, travaillant dans le FinTech. Il aime les choses simples et bien faites. Depuis 5 ans, il profite de la douceur de vivre nantaise en vélo biporteur. |
Autres interviews
[:]