Kazidomi

Uitdaging

Kazidomi wendde zich tot QAwerk om hun deliveryteam te versterken en uit te breiden met professionele QA- en testautomatiseringsingenieurs. Vóór onze samenwerking vertrouwden ze op bugrapporten van hun klantenserviceleden, die vaak de nodige details misten voor ontwikkelaars om snel de oorzaak van het probleem te begrijpen.

De samenwerking met QAwerk had tot doel de volgende resultaten te bereiken:

• Sneller bugfixes. Onze taak was om de door het interne team geschreven rapporten aan te vullen met pre-condities, stappen om de bug te reproduceren en andere details om de tijd van Kazidomi-ontwikkelaars te besparen en kristalhelder te maken wat er misging en onder welke exacte omstandigheden.
• Geautomatiseerde testen. We moesten testautomatisering introduceren om de tijd die werd besteed aan functionele, UI- en regressietests te verminderen, wat op zijn beurt leidt tot snellere en soepelere levering van nieuwe functionaliteiten aan gebruikers.
• Verbeterde conversie. QAwerk was verantwoordelijk voor het uiterste belang hechten aan de functionaliteit die direct van invloed is op conversies. Ons doel was om alle mogelijke conversiekillers te detecteren en ervoor te zorgen dat de gebruiker onderweg geen haperingen ervaart.

Het creëren en onderhouden van testdocumentatie is een integraal onderdeel van het kwaliteitsborgingsproces, en dat is wat we ook voor Kazidomi deden. Elke feature die klaar was voor testen, vereiste het schrijven van nieuwe testgevallen of het bijwerken van bestaande.

Oplossing

Wij geloven dat rigoureuze testen het best bereikt kan worden met een combinatie van handmatige en geautomatiseerde testen. Met testautomatisering hebben we de test snelheid verhoogd en een grotere dekking bereikt. Tegelijkertijd stelde handmatige testen ons in staat om die menselijke touch te hebben en het platform vanuit het perspectief van de gebruiker te verkennen.

Voor een weboplossing zoals Kazidomi waren deze soorten testen essentieel:

• Functionele Testen. We hebben maximale inspanningen geleverd om de meest voorkomende gebruikersacties te testen, zoals autoriseren, producten aan een winkelwagen toevoegen, winkelwageninhoud wijzigen, kortingscodes toepassen, en nog veel meer. We zorgden ervoor dat elke knop, link en filter zijn doel diende en de gebruiker hielp een beslissing te nemen.
• Integratie Testen. Bugs op een factuurpagina zijn een van de meest wijdverbreide conversiekillers. Onze QA-ingenieurs hebben de integratie met betalingssystemen zoals PayPal en Adyen getest om ervoor te zorgen dat de checkout succesvol en stressvrij verloopt.
• Cross Browser Testen. Multinationale e-commerceplatforms zoals Kazidomi hebben klanten die verschillende browsers op verschillende apparaten gebruiken. We hebben ervoor gezorgd dat de gebruikerservaring van hoge kwaliteit blijft, ongeacht de gebruikte browser of het apparaat. Geautomatiseerde testen waren alleen gericht op Chrome.
• UI Testen. Een strakke UI is niet minder belangrijk dan een feilloze app prestatie, aangezien het bijdraagt aan die eerste indruk en het opbouwen van merkvertrouwen. Ons QA-team heeft geverifieerd of de implementatie van het ontwerp overeenkomt met de vereistesspecificaties.
• Regressie Testen. Aangezien Kazidomi frequent updates uitbrengt, was de behoefte aan het automatiseren van regressietesten duidelijk. Met geautomatiseerde regressie werden bugs tijdig gemeld, waardoor Kazidomi-ontwikkelaars de meest kritieke problemen konden oplossen vóór de releasedatum en zich aan hun leveringsplan konden houden.

We hebben 587 testgevallen vanaf de grond opgebouwd, waarvan er 284 geautomatiseerd waren.

Testautomatisering

Alle tests werden uitgevoerd op een server met een nieuwe database zonder vooraf aangemaakte gebruikers of testgegevens. De gegevens werden automatisch voor elke testgeval aangemaakt vlak voor de testuitvoering. Deze aanpak hielp autotests stabiel te houden en maakte het mogelijk ze in elke volgorde uit te voeren, aangezien er geen afhankelijkheden van testgegevens waren. Als twee testgevallen bijvoorbeeld afhankelijk zijn van hetzelfde stuk testgegevens en de eerste test het verwijdert als een van de testgevalstappen, zal de latere test mislukken, wat resulteert in een valse positief.

Onze autotests bevatten ook post-condities voor gegevensopruiming. Wanneer er voor elke kleine testgeval nieuwe gegevens worden gegenereerd, explodeert de omvang van de gegevensbron vrij snel, wat onnodige druk op de server legt. Daarom verwijderde elke autotest de testgegevens die het eerder had aangemaakt na succesvolle testuitvoering.

Zoals u zich kunt voorstellen, duurt het uitvoeren van 284 autotests tegelijkertijd een tijdje, of ongeveer 6 uur om preciezer te zijn. Om dingen te versnellen, hebben we alle tests in groepen verdeeld, waarbij de rookgroep met ongeveer 30 autotests voor de belangrijkste productfuncties werd uitgelicht. Andere groepen werden gelabeld op basis van de functionaliteit die ze controleerden, bijvoorbeeld “login”, “toevoegen aan winkelwagen” en “account aanmaken”.

Deze tests werden continu uitgevoerd na elke commit naar de GitLab-repository. Indien nodig was het ook mogelijk om autotests voor een specifieke groep handmatig te starten of over te slaan.