AFUP AFUP Day 2020 Baromètre Planète PHP

La parole est aux speakers : Julien BRAURE

Jusqu’à l’AFUP Day 2020, retrouvez nos interviews de speakers pour mieux comprendre leur parcours et le sujet qu’ils ou elles aborderont lors de leur conférence !

La conférence

Vos tests sont-ils de qualité ? Découvrez le avec le Mutation Testing

Manual testing, c'est déja ca 😉 Automated Unit Testing, c'est un bon début Integration Testing, un cran plus haut niveau et après ?

Lors de ces procédure de tests il est (trop) souvent mis en avant qu'une des metrics reine est le code-coverage. Cependant, c'est plutot le nombre d'assertions qui prime au final, le coverage étant surtout le nombre de lignes ayant été exécutées durant les tests. En poussant à l'extrême, on peut facilement imaginer un code 100% "couvert" par les tests, mais avec 0 assertion, ces tests "blancs" (passeront donc quelques soient les entrées) mais à fort coverage, semble avoir une valeur ajoutée.

Une deuxième hantise du testeur est de "Ne jamais faire confiance à 1 test que l'on a jamais vu FAIL".

C'est là que le Mutation Testing entre en scene.

Des frameworks existent (en PHP il y a Infection https://infection.github.io ) qui vont prendre les 2 "artifacts" existants déjà dans votre projet (le code source et vos tests) et va tout simplement

  1. modifier votre code (1 seule modification ! ceci étant 1 mutation)
  2. faire tourner les tests
  3. s'attendre à ce que vos tests "détectent" cette mutation en reportant au moins 1 test FAIL.
  4. répéter avec 1 nouvelle mutation

Une approche simple, mais coûteuse sur le temps de build, d'avoir un bon retour sur la qualité et valeur réelle de vos tests, et ce avec un cout d'entrée vraiment faible.

Une approche où finalement le but est d'avoir des tests qui FAIL ! mais aussi surtout pour le plaisir de tuer des mutants 😉

Akeneo
15/05/2020
11:15-11:55

Ton sujet portera sur le mutation testing. Comment as-tu découvert cette pratique ?

Je cherchais simplement à améliorer ma pratique de tests. Une conversation banale sur un projet IT:
– « J’ai fini !
– Merci, mais as-tu testé ton code ?
– Oui, oui, manuellement.
– Ah, écris donc des tests automatisés !
– Ok…
– J’ai ajouté des tests !
– Merci ! Mais au fait, as-tu testé tes tests ?
– Pardon ? »

J’ai souvent entendu (et je le répète maintenant à celles et ceux qui veulent l’entendre) « Ne faites jamais confiance à un test que vous n’avez pas vu rouge ».
Au début, on écrit un test, il est vert, on est content. Mais ce test est-il pertinent mais également fiable ? Je changeais donc subtilement mon code source, et j’espérais voir mon test passer au rouge, et honnêtement ce n’est pas toujours le cas…

Au final, j’ai réalisé que je faisais du Mutation Testing, sans le savoir, car je le faisais manuellement. Le Mutation Testing, c’est simplement un outil qui automatise ce travail laborieux pour vous. Je cherchais également un outil me permettant de mesurer de la qualité des tests lors que je reprenais un projet.

Il est parfois difficile de vendre à sa direction du temps pour effectuer des tests. Comment vendre au mieux du temps passé sur du mutation testing ? Quel est son retour sur investissement ?

La bonne nouvelle avec le Mutation Testing, c’est que c’est plus un outil à utiliser que du temps de développement. Au final, vous possédez déjà les 2 choses essentielles dont vous avez besoin:
1. votre code source
2. vos tests (unitaires ou d’intégration)

À partir de ces 2 ingrédients, il vous reste à configurer l’outil de Mutation Testing, et vous le faites tourner pour obtenir un rapport et un score. L’investissement est plus dans l’analyse de ce rapport, et ensuite les modifications de vos tests, et/ou de votre code source, afin d’améliorer l’un et/ou l’autre. Son retour sur investissement est donc des tests de meilleure qualité (fiabilité et pertinence), grâce à une métrique : le MSI (Mutation Score Index), qui idéalement est de 100%.

Avoir beaucoup de tests, et/ou une couverture de code haute, mais un score de MSI bas est un bon signal d’alarme.

On cherche toujours à réduire au maximum les temps de build en intégration continue, faire du Mutation Testing ne va-t-il pas à l’encontre de ça ?

Oui, c’est vrai. Inévitablement rien n’est gratuit. La qualité c’est un coût ! Si vous investissez dans la qualité, mieux vaut donc la mesurer, ce qui est également indispensable si vous voulez l’améliorer.

Au départ, faire tourner ses tests une fois peut déjà être long, donc en effet les faire tourner N fois pour tuer les mutants générés va forcément prendre du temps. Cependant, plusieurs leviers peuvent être explorés:
1. Il n’est pas nécessaire de jouer tous les tests pour tuer un mutant donné. En théorie un seul test suffit ! L’outil de Mutation peut être guidé afin qu’il commence par le(s) test(s) le(s) plus pertinent(s), par exemple en ajoutant des annotations « @covers » sur les tests.

2. Il n’est pas nécessaire de faire tourner le Mutation Testing à chaque commit sur une branche, ni à chaque merge sur develop. On pourrait simplement faire tourner le Mutation Testing 1 fois par jour ou par semaine (la nuit et/ou weekend)… On peut également ne le faire que sur la branche principale au lieu de toutes les features branches.

3. Il est également possible de faire tourner le Mutation Testing en parallèle, mais cela peut apporter son lot de conflits, généralement avec les tests d’intégration.

Le speaker

Julien BRAURE
Julien BRAURE
Julien est un développeur confirmé, tant en PHP que Java, travaillant dans le FinTech. Il aime les choses simples et bien faites. Depuis 5 ans, il profite de la douceur de vivre nantaise en vélo biporteur.

Autres interviews

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation des cookies pour améliorer votre navigation. plus d'infos

1. Qu’est-ce qu’un cookie?

Un Cookie est un petit fichier texte enregistré sur votre terminal (ordinateur, tablette, smartphone, etc.), à l’occasion de la consultation d’un service en ligne grâce à votre logiciel de navigation. Il permet à son émetteur d’identifier le terminal dans lequel il est enregistré, pendant la durée de validité ou d’enregistrement du Cookie. Lors de la consultation de notre site Internet, des informations relatives à la navigation de votre terminal sont susceptibles d'être enregistrées dans ces fichiers dits "Cookies". Ces derniers sont installés sur votre terminal, sous réserve des choix que vous auriez exprimés concernant les Cookies et que vous pouvez modifier à tout moment.

2. A quoi servent les cookies émis sur notre site ?

Seul l’émetteur d’un cookie est susceptible de lire ou de modifier les informations qui y sont contenues.
Les cookies utilisés sur notre site permettent :

3. Vos choix concernant les cookies

Vous disposez de différents moyens pour gérer les cookies. Tout paramétrage que vous pouvez entreprendre sera susceptible de modifier votre navigation sur notre site et sur Internet en général et vos conditions d'accès à certains services de notre site nécessitant l'utilisation de cookies. Vous pouvez à tout moment exprimer et modifier vos souhaits en matière de cookies, par les moyens décrits ci-dessous. L'accord sur les cookies L'enregistrement d'un cookie dans un terminal est essentiellement subordonné à la volonté de l'utilisateur du terminal, que celui-ci peut exprimer et modifier à tout moment et gratuitement à travers les choix qui lui sont offerts par son logiciel de navigation. Si vous avez accepté dans votre logiciel de navigation l'enregistrement de cookies dans votre terminal, les cookies intégrés dans les pages et contenus que vous avez consultés pourront être stockés temporairement dans un espace dédié de votre terminal. Ils y seront lisibles uniquement par leur émetteur.

Le refus des cookies Si vous refusez l'enregistrement de cookies dans votre terminal, ou si vous supprimez ceux qui y sont enregistrés, vous ne pourrez plus bénéficier d'un certain nombre de fonctionnalités qui sont néanmoins nécessaires pour naviguer dans certains espaces de notre site. Tel serait le cas si vous tentiez d'accéder à votre compte ou à votre abonnement qui nécessite de vous identifier. Tel serait également le cas lorsque nous, ou nos prestataires, ne pourrions pas reconnaître, à des fins de compatibilité technique, le type de navigateur utilisé par votre terminal, ses paramètres de langue et d'affichage ou le pays depuis lequel votre terminal semble connecté à Internet. Le cas échéant, nous déclinons toute responsabilité pour les conséquences liées au fonctionnement dégradé de nos services résultant de l'impossibilité pour nous d'enregistrer ou de consulter les cookies nécessaires à leur fonctionnement et que vous auriez refusés ou supprimés. Les choix offerts par votre logiciel de navigation Vous pouvez configurer votre logiciel de navigation de manière à ce que des cookies soient enregistrés dans votre terminal ou, au contraire, qu'ils soient rejetés, soit systématiquement, soit selon leur émetteur. Vous pouvez également configurer votre logiciel de navigation de manière à ce que l'acceptation ou le refus des cookies vous soient proposés ponctuellement, avant qu'un cookie soit susceptible d'être enregistré dans votre terminal. Pour la gestion des cookies et de vos choix, la configuration de chaque navigateur est différente. Elle est décrite dans le menu d'aide de votre navigateur, qui vous permettra de savoir de quelle manière modifier vos souhaits en matière de cookies. Selon votre navigateur, consultez le lien ci-dessous pour configurer votre navigateur et refuser les cookies :