Couple Up! Love Show Story

Uitdaging

Native Games Studio wendde zich tot QAwerk om de uitdagingen van een groeiend gebruikersbestand aan te pakken. Ze wilden ervoor zorgen dat de game Couple Up! niet traag of crashend zou zijn onder een aanzienlijk toegenomen toestroom van spelers.

Dit is wat er van ons werd verwacht:

• Load Testing. We moesten verschillende API-endpoints testen, waarbij we geleidelijk serververzoeken verhoogden en de responstijd van de server bijhielden. Load testing helpt de operationele capaciteit en het breekpunt van de app te identificeren en de nodige aanpassingen te maken voordat gebruikers negatieve problemen ervaren.
•  Server Configuration Audit. Onze taak was om hun Hetzner serverconfiguraties te onderzoeken, zoals het controleren op netwerkknelpunten, nginx-configuratie, auditing van Docker-containers, kernel- en service-instellingen. Dit deel werd uitgevoerd door onze DevOps-engineer.
• Code Review. We werden ook gevraagd de servercode te beoordelen en verbeterpunten aan te wijzen. We hebben deze getoetst aan criteria zoals codekwaliteit, foutafhandeling, caching en testbaarheid. Aangezien de code een REST API was, gebouwd met Flask, werd deze beoordeeld door onze senior Python-ontwikkelaar.

Voordat we met het project begonnen, hebben we het Couple Up!-team een ​​inschatting van onze inspanningen gegeven om duidelijkheid en transparantie in onze samenwerking te brengen. We vroegen hen ook om de gaten in de API-documentatie aan te vullen, zodat we een nauwkeurig beeld hadden van de onderliggende infrastructuur.

Oplossing

Loadtesten

We hebben één GET- en drie POST API-aanroepen getest om hun prestaties onder wisselende belastingsomstandigheden te meten. Loadtesten wordt meestal gedaan met behulp van een tool die simuleert hoeveel verschillende gebruikers tegelijkertijd met uw app interageren of een sequentiële toename in de vraag van de app. Onze QA-ingenieurs kozen Apache JMeter omdat het een betrouwbare open-source tool is, speciaal ontworpen om loadtesten snel maar effectief te maken.

Een probleem waar we tegenaan liepen, was een onjuiste beschrijving van API-headers. Deze laatste zijn essentieel bij API-testen omdat ze metadata bevatten over het API-verzoek en de respons. Ze helpen de API ook om uw verzoek te begrijpen en de exacte informatie in het gewenste formaat op te halen.

Dit probleem hebben we opgelost door een script te schrijven waarmee we de verzoeken in JMeter correct konden beschrijven. Na analyse van het systeem, de verwachte en piekbelasting, hebben we de respectievelijke testgegevenparameters ingesteld.

Hier zijn de testgevallen die we hebben gebruikt:

• Voeg 1 thread (gebruiker) toe in 1 sec
• Voeg 100 threads (gebruikers) toe in 1 sec
• Voeg 1000 threads (gebruikers) toe in 10 sec
• Voeg 10000 threads (gebruikers) toe in 1000 sec

We hebben de prestaties van de server gemeten in termen van responstijden over tijd, actieve threads over tijd en foutpercentages van interne serverfouten.

Serverconfiguratie-audit

Onze audit van de serverconfiguratie was gericht op het identificeren van mogelijkheden voor het verbeteren van de serverprestaties. Aangezien mongod-processen de belangrijkste CPU- en RAM-belasting op de server veroorzaken, moet hun werk worden geoptimaliseerd.

We hebben het Couple Up! Team voorzien van een lijst met exacte configuraties die moesten worden ingesteld. We hebben bijvoorbeeld uiteengezet hoe Linux kernelinstellingen, zoals max map count, swappiness, dirty_ratio, max aantal wachtende verbindingen, lokale poortbereik en diverse andere, aangepast kunnen worden in relatie tot de verwachte belasting van 50K verbindingen.

Om de CPU- en RAM-belasting te verminderen, adviseerden we onze klant om te controleren hoe queries worden gevormd en langzame queries te optimaliseren en queries van hetzelfde type te paralleliseren. We stelden ook voor om regelmatig bevraagde velden te indexeren en opnieuw te indexeren, en dit tijdig te doen. Met de juiste indexeringsstrategie kunt u uw databaseprestaties aanzienlijk verbeteren.

Daarnaast hebben we aangegeven welke standaardconfiguraties gewijzigd moesten worden en hoe.

Codereview

Het QAwerk-team heeft een uitgebreide codereview uitgevoerd en Couple Up! voorzien van snelle en kosteneffectieve actiepunten, evenals belangrijke architecturale wijzigingen voor betere prestaties en schaalbaarheid op lange termijn.

We hebben de gebieden die refactoring nodig hadden belicht om de ontwikkelaars van Couple Up! te helpen de code in de toekomst zonder problemen te onderhouden, nieuwe bedrijfslogica toe te voegen en te schalen. We merkten de noodzaak op van unit- en integratietests, omdat deze refactoring en uitbreiding van de codebase gemakkelijker zullen maken.

Ook hebben we aanbevolen de foutafhandeling te verbeteren, zodat de foutmeldingen informatief waren en altijd de juiste statuscodes toonden. Dit zou het debuggen en testen vereenvoudigen en helpen bij het standaardiseren van de communicatie van de app met de API.

Juiste caching kan de prestaties aanzienlijk verbeteren voor een fractie van de kosten vergeleken met migreren naar Amazon. Daarom hebben we onze klant aangeboden om caching te implementeren.

Last but certainly not least is de CI/CD-pipeline. In geval van geplande frequente releases is CI/CD essentieel voor het opsporen van bugs voordat updates worden uitgerold en voor het versnellen van de levering van nieuwe functionaliteiten aan gebruikers. Dus CI/CD-setup stond ook op de lijst van onze aanbevelingen.