- Begin Inleiding
- Hoofdstuk 1: Overzicht van de onderzoeksresultaten
- Hoofdstuk 2: Overzicht van de respondenten
- Hoofdstuk 3: Structuur en aanpak van een GAT
- Hoofdstuk 4: Samenstelling van het GAT team
- Hoofdstuk 5: GAT resultaten
- Hoofdstuk 6: Gedeelde Best Practices
- Hoofdstuk 7: Het geheel samenbrengen
Begin
Inleiding
Download PDF
Of lees hieronder verder
De gemeenschap van softwareontwikkelaars staat van oudsher in het teken van delen, samenwerken en innovatie stimuleren. Zo kan het vak steeds verder groeien.
Deze aanpak biedt talloze voordelen voor de groei van softwareontwikkeling, en leidt tot nieuwe werkwijzen, nieuwe hulpmiddelen, nieuwe testnormen en best practices in de sector.
Om deze samenwerking verder te zetten, polste TestMonitor bij de gemeenschap van softwareontwikkelaars naar de manier waarop zij gebruikersacceptatietesten (GAT) benaderen. Ook wilden we inzicht krijgen waar de gangbare knelpunten zitten in de kwaliteitsborging (QA), en verzamelden we de best practices om ze met anderen te delen.
Het onderstaande is een samenvatting van de resultaten van dit onderzoek, én van de best practices en aandachtspunten die de bevraagden wilden delen.
In de herfst van 2021 ondervroeg TestMonitor professionals uit de sector van het softwaretesten, waaronder test- en QA-managers, IT-projectmanagers, ingenieurs, en ontwikkelaars.
Meer dan 40 mensen uit allerlei sectoren, waaronder de kleinhandel, gezondheidszorg, entertainment, financiële diensten en telecommunicatie, namen deel aan het onderzoek. Ze delen allemaal dezelfde taak, namelijk software ontwikkelen voor klanten die zich zowel binnen als buiten hun eigen bedrijf bevinden.
Dit is het overzicht van de bevraagden per sector:
De bevraagden vertegenwoordigen bedrijven van over de hele wereld, waaronder:
- 68 procent uit Europa
- 19 procent uit Noord-Amerika
- 4 procent uit Azië
- 4 procent uit Zuid-Amerika
- 2 procent uit Afrika
De bevraagden zijn ook verantwoordelijk voor het testen van verschillende soorten software:
- 51 procent van hen test mobiele toepassingen
- 64 procent van hen test bedrijfstoepassingen
- 74 procent van hen test web-based toepassingen
Op de vraag wat hun bedrijf ertoe aanzet om GAT te doen, merkte 70 procent op dat de tests bedoeld zijn om het allerbeste product voor hun doelgroep tot stand te brengen. Ongeveer 15 procent gebruikt de tests om feedback van eindgebruikers te verzamelen en de normen te halen.
Functioneel testen
Ondanks de toenemende aandacht voor geautomatiseerd testen, gebruiken de bevraagden nog steeds handmatige tests om de prestaties van hun software te beoordelen. Dit doen ze aan de hand van functionele tests.
Sterker nog, 96 procent van de bevraagden gebruikt handmatig testen om functionele tests uit te voeren. Iets minder dan de helft (49 procent) gebruikt geautomatiseerde tests ter ondersteuning van hun functionele tests.
Niet-functioneel testen
Voor niet-functionele tests voert 45 procent van de bevraagden handmatig scripts uit voor bruikbaarheidstests, belastingstests en beveiligingstests, terwijl 28 procent deze tests uitvoert met geautomatiseerde testprogramma's.
De frequentie van GAT
Opvallend was dat er grote verschillen bestonden in de regelmaat waarmee de bevraagden GAT uitvoeren tijdens hun projecten of cycli.
GAT is niet slechts één enkel ding. Het is een reeks hulpmiddelen die verschillende stappen en mijlpalen omvat.
Van de bevraagden voert met name 66 procent minstens één keer per maand een GAT uit.
De tools die GAT mogelijk maken
De bevraagden lieten ook merken dat er nog steeds grote variatie bestaat in de manier waarop bedrijven software gebruiken om GAT mogelijk te maken.
Van de bevraagden gebruikt 43 procent gespecialiseerde testmanagementprogramma's, terwijl 23 procent uitsluitend vertrouwt op standaardprogramma's, zoals tekstverwerkers en spreadsheetsoftware. Ongeveer 30 procent van de bevraagden meldde dat hun team beide soorten software gebruikt om GAT mogelijk te maken.
Het meest omslachtige aspect van GAT
Met betrekking tot de complexiteit van een GAT, lieten de bevraagden weten dat elke fase van het testproces specifieke uitdagingen met zich meebrengt.
Met name 36 procent van de bevraagden verklaarde dat het uitvoeren van de tests het meest tijdrovende aspect van hun kwaliteitsborging is, op de voet gevolgd door het opstellen van testgevallen en het plannen van testruns.
Ongeveer 13 procent van de bevraagden meldde dat de analyse van testresultaten en de rapportage het meeste tijd in beslag nemen.
Eindgebruikers erbij betrekken is een belangrijk aspect van GAT, maar de regelmaat waarmee de bevraagden dat doen varieert.
Op de vraag in hoeverre ze eindgebruikers betrekken bij hun GAT, reageerde iedereen verschillend:
- 40% betrekt er altijd eindgebruikers bij
- 15% betrekt er regelmatig eindgebruikers bij
- 26% betrekt er occasioneel eindgebruikers bij
- 19% betrekt er nooit eindgebruikers bij
Van degenen die eindgebruikers bij hun GAT betrekken, doet 75 procent dat met minder dan 10 eindgebruikers, 19 procent met tussen de 11-25 eindgebruikers, en 6 procent met meer dan 25.
Het meest uitdagende aspect van GAT
De bevraagden lieten weten welk aspect van GAT het moeilijkst is voor hun team, en tweederde van hen zei dat dat de testontwerp- en planningsfasen zijn. De tests uitvoeren is de grootste uitdaging voor 15 procent van de bevraagden, en 19 procent meldde dat de analyse van de testresultaten hun grootste struikelblok is.
De kwaliteit van GAT
Ondanks de uitdagingen om zowel eindgebruikers te betrekken bij het ontwerpen en uitvoeren, vinden de meeste bevraagden nog steeds dat de algemene kwaliteit van hun aanpak over het algemeen doeltreffend is.
Van de ondervraagden gaf ongeveer 48 procent aan de kwaliteit van hun huidige GAT een zeven of hoger krijgt, waarbij een 10 zeer tevreden betekent. Ongeveer 38 procent verklaarde matig tevreden te zijn, en 11 procent beweerde zeer ontevreden te zijn.
Niet alleen deelden de bevraagden hun benadering van GAT, hun uitdagingen en de algemene tevredenheid over de testresultaten, er werd hen ook gevraagd om best practices te delen.
De feedback spitste zich toe op drie hoofdthema's:
Het betrekken van eindgebruikers
Verscheidene bevraagden wezen erop dat het erg belangrijk is om de deelname aan de tests "voor de eindgebruikers zo eenvoudig mogelijk te maken". Zij drongen er ook op aan om hen vanaf het begin bij de kwaliteitsborging te betrekken.
Anderen wezen op noodzaak om zoveel mogelijk van de logistiek voor het testen voor te bereiden, vooral als een deel op afstand zou worden uitgevoerd. Dit betreft onder meer de manier waarop resultaten zullen worden vastgelegd, hoe updates zullen worden doorgegeven in de teams, en welke ondersteuning beschikbaar zal zijn terwijl de testers aan het werk zijn.
GAT eenvoudig en doelgericht houden
Veel van de bevraagden benadrukten het opstellen van "duidelijke en goed omschreven acceptatiecriteria" en het "zo toegankelijk mogelijk maken van testgevallen" voor de eindgebruikers.
Anderen beklemtoonden het opstellen van "gedetailleerde testgevallen" en plannen, het prioriteren ervan, en het kenbaar maken van de doelstellingen aan de testers.
Het traceren en managen van issues
Vele bevraagden wezen op de noodzaak van processen en methoden om tijdens het testen aangetroffen problemen en bugs vast te leggen. Dit omvat ook de manier waarop bugs worden beoordeeld en prioriteit krijgen bij het oplossen ervan.
Hoewel een GAT erg stressvol kan zijn, staat de juiste aanpak garant voor een effectieve en efficiënte ervaring.
Met een baanbrekend programma voor testmanagement dat ontworpen is om de administratieve aspecten van het testen overzichtelijker te maken en het ontwerpen, organiseren en managen van testgevallen te vereenvoudigen, hoeft je team zich minder bezig te houden met de complexiteit van het testen en kunnen ze zich toeleggen op de resultaten.
Of je team nu één test of meerdere testen per project uitvoert, de resultaten geven inzicht in de daadwerkelijke kwaliteit. En met gestructureerd en eenvoudig issuemanagement zal de software niet alleen werken, maar het werk voor de eindgebruikers ondersteunen.
We hopen dat je deze resultaten gebruikt om de trends in het testen beter te begrijpen en je interne testmethode gaat optimaliseren.
