Better mutation testing for Java

Onderzoek de implementatie van Mutant Schemata in Java, een alternatief voor de huidige standaard, PITest. Ondanks de kracht van bytecode mutatie, kent het nadelen zoals onnauwkeurigheid, onbereikbare mutanten en performance overhead. Jouw taak is het analyseren van deze techniek, de voor- en nadelen ten opzichte van PITest te evalueren en een prototype te ontwikkelen. Dit werk kan bijdragen aan verbeteringen in mutation testing en de basis vormen voor toekomstige open-source ontwikkelingen.

Vakmanschap is één van de kernwaarden van Info Support. We vinden goede codekwaliteit belangrijk. Om te zorgen dat onze code grondig getest is, schrijven en voeren we onder andere unit tests uit. Maar hoe bepaal je de effectiviteit van je unit tests? Hier komt mutation testing om de hoek kijken.

Bij mutation testing voert een framework kleine wijzigingen door in je productiecode. Zo kan bijvoorbeeld een > teken veranderen in een >= teken, wat resulteert in een mutant. Vervolgens draait het framework je tests. Faalt er ten minste één test, dan is de mutant ‘killed’. Slagen alle tests, dan heeft de mutant ‘survived’. Het percentage ‘killed’ mutants wordt de mutation score genoemd. Hoe hoger deze score, hoe effectiever je unit tests zijn.

Pitest is het mutation testing framework voor Java, dat werkt op basis van bytecode mutatie. De code wordt eerst naar bytecode gecompileerd, waarna mutanten één voor één worden ingevoerd in de bytecode en getest.

Stryker is een mutation test framework voor .NET, JavaScript, Scala en in de toekomst ook Kotlin. Het wordt ontwikkeld door Info Support als open source tool (met inmiddels meer dan 10 milioen downloads). Stryker werkt altijd met mutant schemata. Bij mutant schemata worden de mutanten allemaal tegelijk in de broncode gezet, maar er kan er maar één tegelijk actief zijn.

Dit is een voorbeeld van mutant schemata bij JavaScript:

Wanneer je mutation testing wilt toepassen in Java-projecten, is PITest momenteel de go-to keuze. Dit betekent dat er gebruik wordt gemaakt van bytecode mutatie, wat enkele nadelen met zich meebrengt:

1. Accuratie: Het is niet mogelijk om de exacte locatie van een mutant in de broncode aan te duiden

2. False positives: Er worden mutanten gegenereerd die in Java niet gecreëerd kunnen worden

3. Performance: Voor het testen van een mutant moet deze eerst aan de bytecode worden toegevoegd, wat aanzienlijke overhead veroorzaakt

De opdracht

Onderzoek hoe Mutant Schemata in Java geïmplementeerd kan worden en welke voordelen en nadelen dit heeft t.o.v. PITest. Ontwikkel vervolgens een prototype om je bevindingen te bewijzen.

Wanneer het prototype succesvol is kunnen we deze in open source verder ontwikkelen onder de noemer Stryker mutator.

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Veenendaal (NL) en Mechelen (BE). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan.

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse IT Academy waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.

Om deze opdracht te kunnen doen is B2-taalvaardigheid in het Nederlands vereist.