Granola

Introductie

Granola functioneert als een AI-notitieblok dat de gebruiker tijdens vergaderingen ondersteunt. In plaats van te vertrouwen op virtuele bots om gesprekken bij te wonen en op te nemen, vangt de app audio rechtstreeks van de computer op terwijl de gebruiker zijn eigen notities typt. Na de vergadering combineert Granola’s AI de handmatige invoer van de gebruiker met de volledige transcriptie om georganiseerde samenvattingen, belangrijkste conclusies en actiepunten te genereren. Gebruikers behouden volledige controle om deze notities te bewerken, aangepaste sjablonen toe te passen voor specifieke vergadertypen zoals 1-op-1’s of discovery calls, en de gefinaliseerde informatie rechtstreeks te exporteren naar platforms zoals Slack, CRM’s of projectborden.

Uitdaging

Toen het gebruikersbestand en de functionaliteiten van Granola groeiden, zag het team in dat er behoefte was aan een gerichte aanpak voor kwaliteitsborging. Voordat ze met QAwerk samenwerkten, had Granola geen interne QA-afdeling, waardoor ontwikkelaars en klantenserviceteams alle tests moesten uitvoeren naast hun primaire taken. Deze opzet, gecombineerd met een gebrek aan diverse testapparaten, maakte het moeilijk om de stabiliteit te handhaven tijdens hun snelle, wekelijkse releasecyclus.

Granola wendde zich tot QAwerk om de volledige verantwoordelijkheid voor hun softwarekwaliteit op zich te nemen. Om onze samenwerking succesvol te maken en tastbare bedrijfsresultaten te behalen, moesten we verschillende specifieke uitdagingen overwinnen:

• Gelijke tred houden met snelle releases: Met nieuwe functies die ongeveer eens per week werden uitgerold, moesten we een snelle en betrouwbare testroutine implementeren die perfect aansloot bij de snelle ontwikkelcyclus van Granola, zodat de kwaliteit werd gewaarborgd zonder vertragingen bij de implementatie.
• Uitbreiden van apparaat- en hardwaredekking: Omdat Granola complexe audio-opnames afhandelt en op de achtergrond draait, moet het feilloos presteren op verschillende configuraties. We moesten gebruikmaken van de uitgebreide apparaatinfrastructuur van QAwerk om de app grondig te testen op een breed scala aan hardwareconfiguraties en besturingssystemen waarover het interne team van Granola niet beschikte. We hebben ook de compatibiliteit gevalideerd met verschillende audio-opstellingen, waaronder ingebouwde audiodeeltjes, externe bedrade luidsprekers, bedrade headsets en Bluetooth-headsets.
• Ontwikkelaars en serviceteams ontlasten: We moesten de testlast van het interne personeel van Granola wegnemen door door gebruikers gemelde bugs zelfstandig te onderzoeken, de grondoorzaken te isoleren en vanuit het niets duidelijke, uitgebreide testdocumentatie te creëren.
• Testautomatisering vanaf nul opbouwen: Om langdurige efficiëntie en productstabiliteit te garanderen te midden van frequente updates, was een belangrijk doel het ontwerpen en implementeren van een robuust testautomatiseringsframework om regressietests af te handelen en tijd vrij te maken voor diepgaandere handmatige exploratie.

Oplossing

We namen de volledige verantwoordelijkheid voor de QA-workflow van Granola om hun snelle releasecyclus te ondersteunen. We bouwden uitgebreide testdocumentatie vanaf nul met behulp van Qase.io (waarbij we meer dan 1.100 testgevallen onderhielden), rapporteerden 90 bugs binnen de eerste twee maanden en implementeerden een gelaagde teststrategie die is afgestemd op een AI-gestuurde, cross-platformapplicatie.

Hier is een overzicht van de specifieke testoplossingen die we hebben geïmplementeerd:

• Functioneel testen. We valideerden kernfuncties van macOS en Windows, waaronder transcriptie, AI-notitiegeneer, offline modi en het schakelen van audiodevices. We ondersteunden ook grote uitrolacties zoals Microsoft login, Recipes, MCP server, updates van Granola Chat, Pre-Meeting Briefs en de rebranding in februari 2026, om ervoor te zorgen dat de app betrouwbaar presteerde onder real-world omstandigheden.
• Regressie & AI-ondersteunde selectie van testgevallen. Om de wekelijkse updates bij te houden zonder de ontwikkeling te vertragen, voerden we gerichte regressiesuites uit. In samenwerking met Granola-ingenieurs bouwden we een slimme AI-flow die pull requests analyseert en automatisch de meest relevante testgevallen selecteert.
• Specifieke iOS-testen. Om de mobiele groei van Granola te ondersteunen, hebben we een gestructureerd testproces opgezet dat volledig gericht is op iOS. Dit omvatte het opbouwen van de benodigde testdocumentatie en het uitvoeren van strikte regressiecycli vóór de release. Ons team testte de mobiele app rigoureus op verschillende softwareversies (iOS 17, 18 en 26) en apparaatvormfactoren (standaard, mini en Max schermen) om een consistente gebruikerservaring op elke iPhone te garanderen.
• Testautomatisering Framework. We automatiseerden 76% van de kritieke regressiesuite en stelden directe Slack-rapportage in. Om dit te bereiken, losten we complexe technische hindernissen op: het omzeilen van Google SSO-autorisaties, het rechtstreeks injecteren van systeemaudio in tests en het gebruik van AI binnen onze scripts om de AI-meeting-samenvattingen van Granola te verifiëren.
• Integratietesten. We testten de verbindingen van Granola met essentiële externe tools zoals Outlook, Google Calendar, Stripe, Slack, HubSpot en Zapier, en garandeerden dat gebruikers vergadergegevens naadloos konden exporteren zonder synchronisatiefouten.
• Cross-platform & Compatibiliteitstesten. Door gebruik te maken van het uitgebreide apparaatlaboratorium van QAwerk, verifieerden we de app-stabiliteit op verschillende macOS- en Windows-hardwareconfiguraties, evenals op meerdere iPhone-modellen en iOS-versies, om een consistente ervaring te garanderen, ongeacht de setup van de gebruiker.
• LLM-testen. We hebben ons gericht op het evalueren van de kwaliteit van de AI-reacties, de coherentie en de feitelijke nauwkeurigheid in verschillende real-world vergaderscenario’s. Dit omvatte het testen van de robuustheid van het model tegen edge cases, zoals dubbelzinnige audio-invoer en hallucinaties, terwijl we ervoor zorgden dat het de accurate context behield gedurende complexe, meerfasige gesprekken.
• Bruikbaarheidstesten. Om ervoor te zorgen dat de app intuïtief en zonder afleidingen was, benaderden onze QA-ingenieurs het testen strikt vanuit het perspectief van de eindgebruiker. We werkten nauw samen met het productteam van Granola om de gebruikerservaring te verfijnen, en deelden bruikbare suggesties zoals het verduidelijken van foutmeldingen en het toevoegen van nuttige UI-hints.
• API-testen. We voerden grondige tests uit van de API-eindpunten van Granola om betrouwbare data-uitwisseling, stabiele integraties en naadloze backend-communicatie te garanderen.
• Testen van migratie. Om de gegevensintegriteit tijdens app-updates te garanderen, voerden we strikte migratietesten uit op elke releasekandidaat. Dit zorgde ervoor dat de gevoelige vergadernotities, sjablonen en werkruimte-instellingen van gebruikers veilig werden bewaard bij de overgang naar de nieuwste versie.

Door actief gebruikersrecensies te onderzoeken, ad-hoc testverzoeken af te handelen en alle nieuwe functionaliteit te dekken, gaven we het team van Granola het vertrouwen om snel updates uit te brengen.

Testautomatisering

Om Granola’s releasecyclus te versnellen en de tijd voor handmatige regressietests drastisch te verminderen, hebben we een schaalbaar testautomatiseringsframework gebouwd. We hebben prioriteit gegeven aan het automatiseren van stabiele, kernfunctionaliteiten zoals onboarding, notitiebeheer en het delen van werkruimtes, waarbij hardware-afhankelijke en externe betalingsscenario’s aan het handmatige QA-team werden overgelaten om de geautomatiseerde suite snel en betrouwbaar te houden.

Het framework is gebouwd met behulp van TypeScript en Playwright om het testen van hun Electron-gebaseerde desktop-app op zowel macOS als Windows te automatiseren. We hebben de Page Object Model (POM)-architectuur gebruikt om de testsuite gemakkelijk te onderhouden naarmate de app evolueert, en we hebben visuele regressietests geïntegreerd om onbedoelde verschuivingen in de UI-indeling automatisch op te vangen.

Het automatiseren van een AI-gestuurde app vereiste creatieve probleemoplossing. Omdat AI-gegenereerde notities per definitie variëren, konden we niet vertrouwen op exacte match-verificaties. Verdergaand dan eenvoudige zoekwoordvalidatie, hebben we een AI-ondersteunde testaanpak geïmplementeerd, waarbij LLM’s worden gebruikt om de context en nauwkeurigheid van de uitvoer intelligent te analyseren. We hebben ook instabiele inlogmethoden van derden (zoals Google SSO) omzeild door een veilige, interne authenticatiehulp te implementeren om valse testfouten te voorkomen.

Ten slotte hebben we de volledige suite geïntegreerd in Granola’s CI/CD-pijplijn met behulp van GitHub Actions. Tests worden nu automatisch parallel uitgevoerd op Mac- en Windows-omgevingen – ‘s nachts of vóór een code-merge. Om ervoor te zorgen dat ontwikkelaars snel kunnen debuggen, hebben we een Slack-integratie ingesteld om snelle autotestrapporten naar het team te sturen, wat snelle, bruikbare feedback op elke build oplevert.