ChitChat

Uitdaging

ChitChat benaderde QAwerk in de beginfase van de ontwikkeling, toen de kernarchitectuur en gebruikersverhalen werden vormgegeven. Ze schakelden ons in om een uitgebreid QA-proces van nul op te zetten en te leiden. Dit omvatte zowel handmatige als geautomatiseerde tests om een naadloze en veilige gebruikerservaring te garanderen.

De innovatieve aard van de ChitChat-app presenteerde unieke testuitdagingen:

• Diepgaande betalingstests: De betalingsfunctionaliteit binnen de chat vereiste grondige tests. Dit vereiste toegang tot een diverse set testbankkaarten en meerdere testtelefoonnummers om verschillende betalingsscenario’s te simuleren.
• Marktspecifieke kenmerken en apparaatfragmentatie: In tegenstelling tot typische mobiele app-gebruikers in Europa of Amerika, gebruikt het doelpubliek in Zambia voornamelijk verschillende telefoonmodellen. We pakten dit aan door gebruiksgegevens te bestuderen en een uitgebreide set testtelefoons samen te stellen die de meest populaire apparaten in Zambia weerspiegelde. De lijst met apparaten met verschillende configuraties was uitgebreid.
• Verhoogde beveiligingsnormen: Aangezien de app financiële transacties afhandelt, werd verwacht dat we de standaard kwaliteitsverwachtingen zouden overtreffen. We moesten uitzonderlijk diepgaande en uitgebreide teststrategieën implementeren om de beveiliging en betrouwbaarheid van de app bij het beheren van geld van gebruikers te garanderen.

Laten we dieper ingaan op hoe we deze uitdagingen hebben aangepakt.

Oplossing

We hebben actief deelgenomen aan het ontwikkelingsproces, elk beschikbaar gebruikersverhaal geanalyseerd en potentiële hiaten geïdentificeerd die verduidelijking behoefden. Op basis van de gebruikersverhalen hebben we robuuste testsjablonen gemaakt die elke mogelijke gebruikersinteractie dekten.

We hebben grondige handmatige tests uitgevoerd en geautomatiseerde testframeworks gebouwd voor zowel de backend- als de frontend-aspecten van de app. Ons testplan omvatte de volgende soorten tests:

• Functioneel testen. We hebben een uitgebreide reeks tests uitgevoerd die waren ontworpen om de prestaties van de app te verifiëren tegen de functionele vereisten die in de gebruikersverhalen waren geschetst. Dit zorgde ervoor dat alle functies correct werden geïmplementeerd en naar behoren functioneerden, en voldeed aan de gedefinieerde gebruikersbehoeften.
• Integratietesten. Aangezien de app interactie heeft met verschillende externe services zoals Primer en Onfido, was naadloze integratie cruciaal. We hebben integratietests uitgevoerd om een soepele gegevensstroom en functionaliteit tussen de app en deze externe services te garanderen.
• Compatibiliteitstesten. We hebben de app getest op een breed scala aan apparaatmodellen, besturingssystemen en schermresoluties. In totaal is ChitChat getest op 24 iOS- en Android-apparaten.
• Geautomatiseerde testen. We hebben ons gericht op het automatiseren van zowel frontend- als backend-tests, waarbij we de kracht van TypeScript hebben benut voor verbeterde codehelderheid en typecontrole.

Bovendien monitoren we voortdurend gebruikersfeedback, vertalen we deze naar duidelijke bugrapporten met gedetailleerde stappen om de bugs te reproduceren en delen we deze met ontwikkelaars.

Testautomatisering

Ons succes met geautomatiseerde testen hing af van de keuze van efficiënte tools.

Mocha, een JavaScript-testframework, bood de structuur voor het schrijven van onze testen. Voor frontend-testen adopteerden we Appium, een populair framework voor het automatiseren van interacties met mobiele apps. We gebruikten WebdriverIO, een krachtige tool die fungeert als een Appium-client, om het proces te stroomlijnen. Hierdoor konden we geautomatiseerde testen schrijven die verschillende aspecten van de app bestreken, van gebruikerslogin en chatfunctionaliteiten tot kernbankfuncties.

BrowserStack, een cloudgebaseerd platform, bood een cruciaal voordeel – de mogelijkheid om onze geautomatiseerde testen uit te voeren op een breed scala aan echte apparaten met verschillende configuraties.

De geautomatiseerde testen voor de backend, namelijk de API’s van de app, werden geschreven in Jest, een testframework dat TypeScript gebruikt. De kracht van TypeScript ligt in het vermogen om typen van variabelen en functies te controleren, wat de duidelijkheid van de code verbetert en fouten tijdens de ontwikkeling voorkomt.

De tools alleen, hoe snel en betrouwbaar ze ook zijn, kunnen echter niet garanderen dat alles soepel verloopt. Een grote hindernis die we tegenkwamen, was het waarborgen van teststabiliteit op een breed scala aan mobiele apparaten. Dit werd overwonnen door gebruik te maken van de uitgebreide collectie echte apparaten van BrowserStack, waardoor we konden testen op daadwerkelijke hardware met diverse configuraties.

Een andere uitdaging ontstond door de talrijke integraties van de app met applicaties van derden. Deze integraties voegden complexiteit toe, vooral voor geautomatiseerde testen. Testen voor deze functionaliteiten werden vaak geschreven met behulp van webhooks (een communicatiemethode tussen apps), maar hun instabiliteit vereiste frequente aanpassingen van de code.

Tot slot leidde de parallelle uitvoering van testen, hoewel het efficiëntiewinst opleverde, af en toe tot instabiliteitsproblemen. In sommige gevallen konden testen tweemaal slagen, maar de derde keer falen. Om dit aan te pakken, hebben we de testen strategisch in drie groepen verdeeld op basis van functionaliteit. Testen uit twee groepen werden gelijktijdig uitgevoerd voor maximale snelheid, terwijl de groep met de instabiele testen sequentieel werd uitgevoerd. Deze aanpak loste de instabiliteit effectief op en zorgde voor consistente testresultaten.

De geïmplementeerde teststrategie behaalde een verhouding van ongeveer 70% geautomatiseerde testen tot 30% handmatige testen. Deze focus op automatisering leverde aanzienlijke voordelen op. Geautomatiseerde testen versnelden de testuitvoering, waardoor we efficiënter een breder scala aan functionaliteiten konden testen. Dit leidde tot snellere identificatie en oplossing van bugs, wat uiteindelijk bijdroeg aan een veiligere en stabielere applicatie.