Sitch

Introductie

Sitch is een AI-gestuurde datingapp die fungeert als een persoonlijke digitale matchmaker. In plaats van casual swipen, worden gebruikers gematcht via een AI-chatbot die is getraind door een menselijke matchmaker voor diepere compatibiliteit, gericht op mensen die serieus op zoek zijn naar een partner en een doordachter proces wensen.

De ervaring begint met een diepgaande onboarding, waarbij de AI vragen stelt om de waarden, prioriteiten en eerdere datingervaringen van een gebruiker te begrijpen. De app chat met u als een vriend om meer over u en uw ideale partner te weten te komen. Met deze antwoorden stelt de AI matches voor. Als twee gebruikers ermee instemmen te worden geïntroduceerd, plaatst de AI hen in een groepschat, net zoals een wederzijdse vriend dat zou doen. De app maakt gebruik van een pay-per-setup-model, waarbij gebruikers worden gefactureerd voor succesvolle introducties in plaats van een abonnement.

Uitdaging

Vijf maanden na hun soft launch kreeg Sitch meer tractie, maar verzamelde ook negatieve feedback van gebruikers. Als ontwikkelingsgericht team misten ze een gestructureerd proces voor kwaliteitsborging, wat ertoe leidde dat bugs en bruikbaarheidsproblemen in de live app terechtkwamen. Sitch ging een partnerschap aan met QAwerk om een effectief testprogramma vanaf de grond op te bouwen, met als doel de gebruikerservaring te transformeren en het product te stabiliseren.

Tegen het einde van onze samenwerking wilde Sitch verschillende belangrijke resultaten behalen:

• Negatieve feedback drastisch verminderen: Het hoofddoel was om de gebruikerstevredenheid te verbeteren door bugs en frustrerende gebruikersstromen te identificeren en te elimineren die tot slechte beoordelingen leidden.
• Een robuust QA-proces opzetten: Implementeer een gestructureerde en efficiënte testworkflow die rechtstreeks met hun ontwikkelingscyclus kan worden geïntegreerd, zodat geen enkele nieuwe functie of oplossing nieuwe problemen introduceert.
• Feilloze kernfunctionaliteit garanderen: Zorg ervoor dat essentiële functies, zoals de AI-gestuurde onboarding, profielcreatie, chat en matching, intuïtief, stabiel en elke keer perfect werken.
• Consistente prestaties op alle apparaten bereiken: Lever een naadloze en visueel gepolijste ervaring voor alle gebruikers, ongeacht hun iPhone-model, iOS-versie of netwerkomstandigheden.

Oplossing

Onze aanpak was om een uitgebreide en meerlaagse QA-strategie direct in het ontwikkelproces van Sitch in te bouwen. We concentreerden ons op verschillende soorten testen, die elk waren gekozen om de unieke uitdagingen van een AI-gestuurde, premium iOS dating-app aan te pakken.

Functioneel testen

We voerden functioneel testen uit op alle kritieke gebruikersstromen. Dit omvatte het valideren van de volledige onboarding-quiz, het testen van het aanmaken en bewerken van profielen in de sectie “Wat maakt jou jou”, en het waarborgen van een soepel accountverwijderingsproces. We hebben ook de chat- en betaalschermopties voor nieuwe gebruikers grondig getest. Ons team heeft proactief problemen getrieerd, kritieke bugfixes opnieuw getest en nieuwe bugs gerapporteerd die we onderweg ontdekten.

Waarom het ertoe doet: Voor een app als Sitch bepalen de kernfuncties de volledige gebruikersreis. Als een gebruiker zijn profiel niet kan invullen, met een match kan chatten of de suggesties van de AI niet kan begrijpen, faalt de app. We moesten ervoor zorgen dat elk gebruikerpad logisch, intuïtief en stressvrij was.

AI-testen

We voerden AI-testen uit op de AI-gestuurde chat en onboarding-quiz. Ons team valideerde de toon en relevantie van de AI-inhoud, en zorgde ervoor dat de reacties passend en nuttig waren. We voerden ook tests uit om logische fouten te vinden, zoals herhalende vragen of eindeloze lussen in de quiz, om te garanderen dat de interactie van de gebruiker met de AI altijd coherent en effectief was.

Waarom het ertoe doet: De kernwaardepropositie van Sitch is de AI-matchmaker. Als de conversatie van de AI repetitief, irrelevant of onlogisch is, verbreekt dit het vertrouwen van de gebruiker en ondermijnt het de belofte van “menselijke expertise”. Deze testen waren essentieel om ervoor te zorgen dat de AI intelligent en gepersonaliseerd aanvoelde.

Regressie- en pre-launch testen

Vóór elke release voerden we uitgebreide regressietesten uit op alle kernstromen: registratie, onboarding, chat, instellingen en betalingen. Voor grote uitrolprojecten, zoals de pre-launch in Chicago, voerden we een uitgebreide checklist uit. Dit omvatte het valideren van markt-specifieke teksten, het testen van abonnementprijzen voor de nieuwe regio, het verifiëren dat verwijzingslinks en analytische gebeurtenissen werden geactiveerd met de juiste marktidentificatoren, en het waarborgen dat deep links van pushmeldingen gebruikers naar het juiste scherm leidden.

Waarom het ertoe doet: Aangezien de ontwikkelaars van Sitch bugs oplosten en nieuwe functies toevoegden, was het cruciaal om ervoor te zorgen dat deze wijzigingen de bestaande functionaliteit niet onbedoeld verstoorden. Regressietesten fungeert als een vangnet, dat de gebruikerservaring beschermt tegen onbedoelde gevolgen met elke nieuwe app-build. Dit werd nog belangrijker bij de lancering in nieuwe steden, waar een enkele bug de gehele marktuitbreiding kon dwarsbomen.

Compatibiliteits- en permission testen

We voerden compatibiliteitstesten uit onder verschillende netwerkomstandigheden, waarbij we slechte, instabiele en niet-bestaande internetverbindingen simuleerden om ervoor te zorgen dat de app responsief bleef en niet crashte. We hebben ook op verschillende apparaten getest om te garanderen dat UI-elementen zoals padding en tekstblokken correct werden weergegeven op zowel grote als kleine schermen. Tot slot hebben we geverifieerd dat cruciale app-machtigingen voor de galerij, locatie en meldingen naar verwachting werkten.

Waarom het ertoe doet: Gebruikers van dating-apps zijn constant onderweg. Ze wisselen tussen Wi-Fi en mobiele data, reizen door gebieden met slechte ontvangst en gebruiken een breed scala aan iPhone-modellen. De app moet veerkrachtig zijn voor deze veranderingen en een stabiele ervaring bieden, ongeacht of de gebruiker een perfecte verbinding heeft of slechts één streepje service.

UI-testen

Ons team heeft elk scherm nauwkeurig onderzocht om een consistente en hoogwaardige gebruikerservaring te garanderen. We hebben problemen geïdentificeerd en gemarkeerd, zoals onjuiste padding op kleinere telefoons, onhandig formaat samenvattingsblokken en misvormde informatie op profielvoorbeeldschermen. Deze focus op detail zorgde ervoor dat de app er professioneel uitzag en aanvoelde op elk apparaat.

Waarom het ertoe doet: De wereld van dating-apps is behoorlijk competitief, waardoor visuele aantrekkingskracht en gebruiksgemak niet-onderhandelbaar zijn. Een verwarrende of onhandige interface kan ertoe leiden dat een gebruiker de app verlaat voordat de AI zelfs maar de kans krijgt om zijn magie te werken. De ervaring moet gepolijst, modern en intuïtief aanvoelen.

Verkennende testen

Na elke release en na afronding van de regressietesten, voerde ons team handmatige verkennende testen uit. We weken bewust af van standaard gebruikerpaden, probeerden ongebruikelijke combinaties van acties, testten randgevallen van verwijzingslinks en belastten de app zwaar om verborgen bugs, gebruiksvriendelijkheidsproblemen en potentiële crashscenario’s te ontdekken die gescripte tests zouden missen.

Waarom het ertoe doet: Gescripte tests bevestigen dat functionaliteit werkt zoals verwacht, maar verkennende testen ontdekken problemen waar u niet naar zocht. Voor een high-end app zijn verborgen bugs en gebruiksvriendelijkheidsproblemen onacceptabel.