Evolv

Introductie

Evolv stelt bedrijven in staat door middel van haar AI-gedreven SaaS-platform, ontworpen voor het lanceren van meerdere UX-experimenten die veel verder gaan dan traditionele A/B-testen. Evolv helpt haar klanten belangrijke metrics zoals conversiepercentages aanzienlijk te verhogen door de juiste UX-verbeteringen op hun websites of apps te introduceren. Evolv is gestart in 2019 en is het resultaat van een technologie-spin-off van Sentient Technologies, dat een groot deel van het decennium als AI-onderzoeks- en ontwikkelingsbedrijf fungeerde. Dat team heeft innovatieve algoritmes ontwikkeld, die nu als bouwsteen zijn opgenomen in Evolv’s AI-gedreven optimalisatieplatform. Aanvankelijk boden wij onze dienstverlening aan Sentient Technologies; nadat Sentient het grootste deel van haar bedrijf verkocht aan Cognizant, is Evolv ontstaan uit de intellectuele eigendom van het aanbod dat voorheen Sentient Ascend heette.

Een platform met zulke uitgebreide bedrijfslogica vereist een complexe en unieke architectuur met meerdere modules. Om het platform robuust en gezond te houden, blijft Evolv investeren in doorlopende softwaretesten en kwaliteitsborging, en vertrouwt zij QAwerk toe met het ondersteunen van deze cruciale missie.

Evolv’s Digital Growth Optimization-oplossing stelt merken in staat om in te spelen op veranderende trends en klantvoorkeuren met behulp van bewezen UX-verbeteringsonderzoek. Zij helpen klanten hun huidige digitale klantervaringsstrategie te analyseren, nieuwe ideeën te genereren om te onderzoeken, en hun eigen AI-software te benutten om snel winnende ervaringen te bepalen en verkeer in realtime daarheen te leiden.

Stel dat een bedrijfseigenaar wil dat meer mensen een lead magnet gebruiken op een servicepagina. Het zoeken naar opties om de user journey op die pagina te optimaliseren met conventionele A/B-testen kost echter te veel middelen, zowel qua tijd als geld. Evolv maakt het mogelijk om meerdere UX-kandidaten tegelijkertijd te testen en automatisch de minst presterende opties uit te sluiten. Bovendien is er een tweede fase van UX-experimenten – EVO – waarbij varianten van verschillende variabelen worden gecombineerd op basis van de machine learning algoritmes van het platform. Als gevolg daarvan, met alle statistische rapporten bij de hand, weet de bedrijfseigenaar precies welke UX-wijzigingen door te voeren om het optimalisatiedoel te bereiken.

Uitdaging

In het begin was het een uitdaging voor ons om uitgebreide tests uit te voeren zonder een volledig begrip van de bedrijfslogica en de reikwijdte van het platform. Destijds hadden we slechts enkele testgevallen om mee te beginnen, en we werkten met een oudere versie van de web-app van Evolv. Later begonnen we hun gloednieuwe desktop-app – Web Editor – te testen, ontworpen voor het ontwikkelen van UX-verbeteringen voor de websites van klanten, en een web-app – Manager – ontworpen voor het lanceren en beheren van AI-gestuurde testen, evenals het bekijken van alle relevante statistieken over de experimenten. Een van onze grootste uitdagingen was het valideren dat de A/B-test correct is ontworpen, dat het UX-experiment verloopt zoals bedoeld, en dat de Manager-app accurate rapporten toont.

Alle QA-diensten die wij voor Evolv leveren, kunnen in de volgende categorieën worden ingedeeld:

• Testen van UX-verbeteringen voor de experimenten die door de klanten van Evolv worden uitgevoerd – het aanbieden van op maat gemaakte UX-oplossingen voor elke bezoeker en klant is een essentieel onderdeel van Evolv’s digitale groeistrategie. Onze taak hierin is om ervoor te zorgen dat alle voorgestelde UX-wijzigingen voor optimalisatie van digitale groei correct worden geïmplementeerd.
• Testen van productreleases + regression testing – Evolv brengt maandelijks software-updates uit, dus we testen regelmatig nieuwe functies, bugfixes en voeren regression testing uit van de kernfunctionaliteit om het platform 24/7 draaiende te houden.
• Geautomatiseerd testen – onze grootste uitdaging op dit gebied is het automatiseren van regressie- en rooktesten, zodat deze in de CI/CD-pipeline kunnen worden uitgevoerd. We streven er ook naar om gemakkelijk te onderhouden en herbruikbare tests te maken met een focus op codeless testautomatisering.

Oplossing

De obstakels die we in het beginstadium van het testen ondervonden, werden snel opgelost dankzij nauwe communicatie met het team van Evolv en grondige documentatie. Terwijl wij testgevallen schreven in CucumberStudio, bereidde het team van Evolv debugdocumenten voor ons voor om de logica van het platform beter te begrijpen. Zodra Evolv overstapte naar een nieuw platform, was het voor ons gemakkelijker om het te testen, omdat we bij elke stap van de ontwikkeling betrokken waren, waardoor we de architectuur en alle onderliggende logica zeer goed kenden.

Tot nu toe hebben we een reeks regressietestgevallen voltooid die de kernfunctionaliteit van het platform bestrijken. We voeren regressietesten uit voor elke release en we hebben dit proces weten te versnellen van 3-4 dagen naar 2.

We zijn ook enthousiast over het uitbreiden van onze diensten naar het domein van geautomatiseerd testen, wat de tijd die ons QAwerk-team besteedt aan het controleren van de hoofdfunctionaliteit in elke nieuwe build aanzienlijk vermindert. Bij het implementeren van geautomatiseerde tests hebben QA-ingenieurs vaak te maken met continue codebewerking of volledige herschrijving van code om geautomatiseerde tests te laten werken. De uitdaging ligt in de noodzaak dat het platform verder wordt ontwikkeld en geüpgraded en hoe het gebruikerspad in het proces meerdere keren kan worden gewijzigd. Daarom zal elke wijziging in het gebruikerspad leiden tot respectieve bewerkingen in de testautomatiseringscode, wat tijd en moeite kost. We hebben een productievere aanpak gevonden voor het automatiseren van regressie- en rooktesten, waardoor we onderhoudbare en herbruikbare code kunnen schrijven en eenvoudig nieuwe testsituaties kunnen creëren zonder code te schrijven: we vormen alleen nieuwe sets van scenario’s in CucumberStudio.

Testautomatisering

Laten we dieper ingaan op hoe we tot bijna-code-loze testautomatisering kwamen. Aanvankelijk vertrouwde Evolv op CucumberStudio als hun BDD-samenwerkingstool. Toen we met Evolv begonnen te werken, gebruikten ze het aanvankelijk om enkele handmatige testgevallen en scenario’s te schrijven en uit te voeren. Van onze kant vertrouwden we op CodeceptJS, met name Puppeteer, voor het automatiseringsproject. Toch wilden we profiteren van de voordelen van beide tools, het automatiseringsproces optimaliseren en het tijdefficiënt en transparant maken, zelfs voor medewerkers met weinig of geen programmeerervaring.

Door de automatiseringsmogelijkheden van CucumberStudio te combineren, zoals het exporteren van tests voor BDD-frameworks zoals CodeceptJS en het importeren van .feature-bestanden, met wat Javascript-magie (AST-parsing/codegeneratie), hebben we een tool gebouwd om automatisch lijmcode te genereren voor de wederzijdse integratie van CucumberStudio en op CodeceptJS gebaseerde automatiseringsprojecten. Deze opzet maakt eenvoudige integratie in vrijwel elke CI/CD-pipeline mogelijk.

Met deze aanpak is het mogelijk om de hoeveelheid code die een QA-ingenieur moet schrijven om veelvoorkomende tests-scenario’s te automatiseren aanzienlijk te verminderen. Bovendien stelt deze opzet handmatige QA-ingenieurs in staat bij te dragen aan testautomatisering met minimale onboardingtijd. Dit is wat ze kunnen doen:

• Nieuwe tests-scenario’s opbouwen in een CucumberStudio-project (waarin eerder een .feature-bestand gegenereerd door onze aangepaste tool was geïmporteerd) – met behulp van meer dan 100 Action Words en Test Scenario Context (variabelen)
• Nieuw gebouwde tests-scenario’s toevoegen aan een testrunner in CucumberStudio (met reeds geconfigureerde CI/CD-pipeline)
• Nieuw gebouwde tests-scenario’s verifiëren – slagen in CI/CD
• Laag-niveau (groep) Action Words in nieuw gebouwde tests-scenario’s refactoren naar business-logica-niveau – oftewel echte Gherkin Phrases in CucumberStudio

Het is geen nieuws dat testautomatisering zijn doel gemakkelijk kan ondermijnen als het verkeerd wordt gedaan. Het corrigeren van testinconsistenties als gevolg van wijzigingen in de GUI (die nogal vaak voorkomen) is een van de belangrijkste pijnpunten in testautomatisering. Als een knop of een tekstvak wordt verplaatst, zal de elementlocator deze niet vinden, wat resulteert in een mislukte testuitvoering. Om tests weer groen te krijgen, zal de automatiserings-tester code moeten aanpassen en de wijzigingen moeten pushen/PR/mergen – een behoorlijk tijdrovend proces.

Onze aanpak voor testautomatisering maakt het mogelijk om de tijd die nodig is voor dergelijke (en vele andere soorten) correcties te verkorten, of het nu gaat om wijzigingen in de namen van locators of de volgorde van stappen. Handmatige QA-ingenieurs kunnen dit soort bewerkingen efficiënt uitvoeren door teststappen in CucumberStudio te corrigeren en deze wijzigingen te synchroniseren met testuitvoeringen.