how choose best automation testing tool
I den här handledningen har vi täckt urvalskriterier för testautomationsverktyg och checklista med jämförelsesmatris för testautomationsverktyg för din enkla referens.
A till Z-guiden för att välja det bästa automatiseringsverktyget för ditt projekt:
Det här är 4thhandledning i vår testautomatiseringsserie. Kontrollera alla artiklar som publiceras i denna serie på den här sidan: => Den ultimata guiden för att starta automatiseringstestning på ditt projekt
Val av testautomationsverktyg är ett av de viktigaste stegen innan du startar automatisering i någon organisation.
Det är viktigt eftersom verktyget kommer att påverka hela din automatiseringsinsats. Om verktyget är bra och ger dig nödvändiga funktioner blir automatiseringen enklare och effektivare.
Det finns många kriterier att tänka på när du väljer automatiseringsverktyget. Några av dem har jag diskuterat i en av mina tidigare artiklar. Här har jag listat de viktigaste aspekterna att tänka på när jag väljer testautomationsverktyget.
Vad du kommer att lära dig:
- Är automatiserad testning en lösning för dig?
- När är testautomation meningsfullt?
- Hur väljer man automatiseringsverktyg för ert projekt?
- Utvärderingskriterier för testautomationsverktyg
- Testkriterier och checklista för urval av automatiseringsverktyg
- Fråga nr 1: Vad är din organisations budget för automatiseringsverktyg?
- Fråga nr 2: Vad är det verkliga priset för verktyget?
- Fråga # 3: Stöder verktyget operativsystemet / webbläsaren eller enheten där din applikation körs?
- Fråga nr 4: Stöder verktyget de tekniker och kontroller från tredje part som används i din applikation?
- Fråga 5: Hur många språk har verktyget stöd för? Har du skickliga resurser för dessa språk?
- Fråga nr 6: Stöder verktyget anslutning till olika datakällor?
- Fråga nr 7: Hur är rapporteringsmekanismen för automatiseringsverktyget?
- Fråga # 8: Kan verktyget integreras med testförvar och felshanteringsförvar?
- Fråga 9: Hur är officiellt tekniskt stöd för verktyget?
- Fråga 10: Några tekniska aspekter att se
- Slutsats
- Rekommenderad läsning
Är automatiserad testning en lösning för dig?
Jag har jobbat med många projekt under min karriär. När du arbetar med samma projekt i mer än ett år börjar du starkt känna ett behov av att automatisera vissa uppgifter. Du börjar tänka på att införa automatiseringstest på projektet om det inte har beaktats hittills av projektledningen.
Ett år är tillräckligt med tid för vem som helst att känna till ins och outs av något projekt. En gång du känner till projektets funktionalitet i detalj blir det lättare att bestämma vilka repetitiva uppgifter som behöver automatiseras.
Vissa testare blir också uttråkade gör samma repetitiva uppgifter om och om igen och de börjar starkt känna behovet av testautomatisering.
Betyder det att du ska hoppa in i automatiseringstest direkt?
Definitivt inte!
Det finns många kriterier du måste arbeta med innan du bestämmer dig för om automatisering är en lösning för dig .
När är testautomation meningsfullt?
- När det finns många repetitiva tester
- När det finns frekventa regressionstest iterationer
- När du behöver simulera ett stort antal användare som använder applikationsresurserna
- När AUT har relativt stabilt användargränssnitt
- När du har en stor uppsättning BVT-fodral
- När du inte enbart kan lita på manuell testkörning för kritisk funktionalitet
Vidare läsning:
- När ska du gå för automatisering?
- Tips du bör läsa innan du börjar automatiserad testning
När du väl vet att det är rätt tid att investera tid och pengar i ett bra automatiseringsverktyg kan du börja leta efter det bästa automatiseringsverktyget som passar dina behov.
Hur väljer man automatiseringsverktyg för ert projekt?
Framgång för automatiseringstest beror till stor del på valet av rätt testverktyg. Det tar mycket tid att utvärdera relevanta automatiseringsverktyg som finns på marknaden. Men det här är en nödvändig engångsövning som kommer att gynna ditt projekt på lång sikt.
Det var få situationer där jag fick chansen att granska och välja automatiseringsverktyg för mina projekt. Uppgiften var svår eftersom vi var tvungna att hantera våra testbehov och kostnadsbegränsningar men det var en värdefull upplevelse.
Här är kriterierna du måste tänka på innan du väljer något testverktyg:
Utvärderingskriterier för testautomationsverktyg
1) Har du den kompetenta resurs som behövs för automatiseringsuppgifter?
två) Vad är din budget?
3) Uppfyller verktyget dina testbehov? Är det lämpligt för den projektmiljö och teknik du använder? Stöder det alla verktyg och objekt som används i koden? Ibland kan du fastna för små tester på grund av verktygets oförmåga att identifiera de objekt som används i applikationen.
Jag anser ovan tre faktorer som viktigast för att välja valfritt verktyg.
4) Ger verktyget dig den kostnadsfria testversionen så att du kan utvärdera den innan du fattar ett beslut? Har verktyget också alla funktioner som är tillgängliga i testversionen?
5) Är den aktuella verktygsversionen stabil? Är leverantörsföretaget etablerat med bra kundsupport samt hjälpresurser och användarmanual online?
6) Hur är verktygets inlärningskurva? Är inlärningstiden acceptabel för dina mål?
7) Vill du ha automatiseringsverktyg för endast dina projektbehov eller letar du efter ett gemensamt verktyg för alla projekt i ditt företag? Det vore ett bra val om du väljer ett verktyg som stöder de flesta kodningsspråken i dina projekt.
intervjufrågor och svar om kvalitetssäkringsingenjör
8) Vilka testtyper stöder den? Ett verktyg som stöder maximala testtyper (enhet, funktionell, regression etc.) är alltid ett bättre val.Varning- Gå inte efter ett verktyg bara för att det stöder alla testtyper. Det är också viktigt att verktyget ska vara tillräckligt kraftfullt för att automatisera dina komplexa krav.
9) Stöder verktyget enkelt gränssnitt för att skapa och underhålla testskript? Spela in och spela upp verktyg med förmåga att redigera inspelade skript kan vara en bra lösning.
10) Ger det ett enkelt gränssnitt men ändå kraftfulla funktioner för att utföra komplexa uppgifter?
elva) Hur lätt är det att tillhandahålla ingångstestdata för komplexa eller belastningstester? Ett verktyg som stöder testdatainmatning från olika datafiler som Excel, XML, textfil etc. skulle vara en stor lättnad för automatiseringen av testarna.
12) Ger den kraftfull rapportering med grafiskt gränssnitt? Tydliga och koncisa rapporter hjälper dig alltid att avsluta testresultaten snabbt.
13) Integreras det bra med dina andra testverktyg som projektplanering och testhanteringsverktyg ?
Du kanske också vill överväga andra kriterier som:
14) Återbetalningspolicy för verktygsleverantörer
femton) Befintliga kundrecensioner för verktyget
16) Ger säljaren grundutbildning?
Tips: Kravsamling är det absolut viktigaste steget för att välja rätt verktyg. Se till att du kategoriserar dina krav i kategorierna måste ha, trevligt att ha och inte krävs. Detta hjälper dig att snabbt utvärdera verktyget. Kom ihåg att du inte hittar ett verktyg som redan finns på marknaden som stöder alla dina automatiseringsbehov!
Bästa automatiseringsverktyg :
HP QTP / UFT och selen är de två mest populära funktionella testalternativen för närvarande. QTP / UFT är det bästa funktionella testverktyget som stöds på det breda utbudet av kodningsspråk och plattformar medan Selen är det bästa funktionella webbtestverktyget för öppen källkod.
Läs den här artikeln för listan över TOP-verktyg:
Topp 20 bästa automatiseringstestverktyg 2020 (omfattande lista)
I nästa artikel kommer vi att diskutera manuella och automatiseringstestutmaningar .
Testkriterier och checklista för urval av automatiseringsverktyg
10 frågor att ställa innan du väljer det bästa testverktyget för automatisering
Ställ följande frågor när du befinner dig i en situation för att välja automatiseringsverktyget för din organisation:
Fråga 1: Vad är din organisations budget för automatiseringsverktyg?
Detta är enligt min mening det viktigaste att tänka på när du väljer automatiseringsverktyget.
Varför leta efter QTP / UFT och undersöka det när du inte kan köpa licensen? QTP-verktyget kostar cirka $ 8000 (ungefär). Om din organisation kan köpa licensen och du är bekräftad, bör du ladda ner testversionen och göra ett pivot-automatiseringsprojekt för att testa dess funktion. Annars bör du inte spendera tid på att undersöka det. (Jag pratar om det här scenariot om du vill använda QTP i ett live-projekt från företaget. Om du laddar ner det bara för inlärningsändamål är det OK att ladda ner testversionen.)
Fråga 2: Vad är verktygets faktiska pris?
Nästa är priset på automatiseringsverktyget. Det finns inte bara ett licenspris utan också priset på tillägg (om det behövs), supportavgiften, träningsavgiften och uppgraderingsavgiften.
Låt oss prata om licensen först.
a) Typer av licenser:
Det finns följande typer av licenser.
1) Nodlåst användarlicens.
Den nodlåsta användarlicensen stöder testautomationsverktyget för användning på en enda fysisk dator i ditt företagsnätverk. Du kan bara köra en instans av verktyget på den licensierade datorn åt gången. Denna licens är vanligtvis bunden till maskinens värdnamn.
2) Samtidig flytande användarlicens
En flytande användarlicens kan delas mellan olika maskiner, men kan bara användas av en maskin åt gången. Det är inte bundet till maskinnamn eller något, utan använder en licenshanterare (installerad på en server) för att hantera samma licens över olika maskiner.
I grund och botten, med Node-Locked-licensen, har du inte friheten att installera verktyget på en dator, avinstallera det och sedan installera det igen på någon annan maskin. Men med flytande användarlicens får du göra det.
3) Run Time License
Ovan nämnda två typer av licenser köps vanligtvis för att 'utveckla' skript. Så det här är utvecklingslicenser. För att utföra skript på olika maskiner måste du ha licensen 'körning' eller 'körtid' för varje maskin.
Exempel:
hur man implementerar diagram i java
Till exempel, om en testare behöver utveckla och utföra testfall på samma maskin, räcker det med en utvecklingslicens.
Men om han behöver utvecklas på en maskin och utföra testfall på tre olika virtuella eller fysiska maskiner, måste han köpa en 'utvecklings' -licens och tre körtidslicenser.
Vissa leverantörer erbjuder gratis körtidslicenser (som kodat användargränssnitt) och andra erbjuder till ett pris (som Test Complete, Ranorex etc.). Så allt beror på leverantör till leverantör.
4) Öppen källkodslicens
Det är ditt företags val att välja ett kommersiellt verktyg och betala en kostnad eller gå till ett open source-verktyg.
Kommersiella verktyg är dyra, men de erbjuder bra stöd och är lätta att använda med massor av utbildningsmaterial. Kommersiella verktyg är vanligtvis ”ett verktyg för alla behov”. Open source-verktyg är gratis men är i allmänhet svårare att lära sig. Det finns lite officiellt stöd, men du kan hitta lösningar genom att besöka olika forum. Öppen källkodslösningar är normalt för specifika behov.
b) Support, uppgradering och träningsavgift:
För support, utbildning och en uppgraderingsavgift kan du behöva ringa företagsrepresentanten. Vissa företag erbjuder speciella rabatter vid bulkinköp av licenser, så ibland nämns denna information inte tydligt på webbplatser. Du får informationen endast via samtal eller e-post.
Fråga # 3: Stöder verktyget operativsystemet / webbläsaren eller enheten där din applikation körs?
Den här frågan beror normalt på vilken typ av applikation du använder.
a) Om skrivbordsbaserad:
Om du arbetar med en stationär applikation bör du beskriva hur många operativsystem du vill testa den applikationen. Jag arbetade på en stationär applikation och ville testa den på Windows 7 och Windows 8.1. Så jag valde Coded UI eftersom det stöder båda.
b) Om webbläsarbaserad
Om du arbetar med en webbapplikation bör du beskriva hur många webbläsare du vill testa den här applikationen. Jag ville utföra mina testfall på FireFox, Chrome och IE. Jag valde selen för min webbapplikation eftersom den stöder alla dessa webbläsare. Se till att det verktyg du väljer ska stödja både äldre och nyare versioner av dina webbläsare.
c) Om mobilbaserad
Om du arbetar med mobilapplikationer bör du veta det på vilka mobila operativsystem du måste köra dina testfall. Om din applikation körs på både Android och IOS, bör ditt verktyg stödja det. Selen har separata drivrutiner för att köra skript på Android, IOS, Windows Phone och BlackBerry. Du kan också använda ett separat verktyg för var och en av Mobile OS. Det finns Robotium för Android, Appium för både IOS och Android och CodedUI för Windows-telefonappar.
Återigen kommer detta till debatten om öppen källkod vs kommersiell. Som du kan se finns det separat öppen källkod verktyg för att testa webbaserat , mobilbaserad och stationära applikationer. Men om du går efter ett kommersiellt verktyg som Test complete, Ranorex eller Test Studio, kan de testa alla tre typerna (mobil-, skrivbords- och webbläsarbaserade applikationer). Så när det gäller det kommersiella verktyget behöver du bara lära dig ett verktyg för att testa webb-, skrivbords- och mobilapplikationer.
Fråga nr 4: Stöder verktyget de tekniker och tredjepartskontroller som används i din applikation?
Detta är en mycket viktig aspekt när du väljer verktyget. Du bör först veta att vilken teknik som används i din applikation. Konsultera dina utvecklare och skriv ner dem. Om de använder HTML 5 eller SilverLight i webbapplikationer, se upp, det finns inte många automatiseringsverktyg som stöder dem. Om verktyget gör anspråk på stöd för dessa tekniker, ladda ner testversionen av verktyget och försök att identifiera olika objekt i din applikation. Om verktyget inte identifierar dem är deras anspråk falskt. Den aktiviteten kommer att rädda dig från den efterföljande elendigheten.
Testa jämförelse matris för automatiseringsverktyg:
I följande tabell jämförs olika verktyg med avseende på deras licenspris och deras stöd för olika tekniker. (Du bör ta det här diagrammet som en inlärningspraxis för hur man skapar jämförelser mellan olika verktyg, men noggrannheten för de angivna uppgifterna är inte 100%)
(Klicka på bilden för att se förstorad)
Y = stöds, N = stöds inte, U = okänd
Fråga nr 5: Hur många språk har verktyget stöd för? Har du skickliga resurser för dessa språk?
Att lära sig verktyget är en aspekt. Att lära sig språket är en annan aspekt. Om du har resurser som har expertis inom Java och ditt verktyg inte stöder Java, kommer tiden att lära sig det nya språket att läggas till i ditt automatiseringsarbete.
En annan aspekt är att om din produkt är byggd på Java måste du ha ett team av utvecklare som är experter på Java. Dessa utvecklare kan också hjälpa automatiseringsteamet när det gäller språkrelaterade frågor. Att välja det verktyg som erbjuder ett språk som är bekant med dina resurser är viktigt och det hjälper dig att minimera inlärningskurvan för dina resurser.
De Selen WebDriver erbjuder skrivskript på flera språk som C #, Java, Python, Ruby och i JavaScript. TestComplete erbjuder också skrivskript på flera skriptspråk som VBScript, JScript, DelphiScript, C ++ Script och C # Script.
Fråga nr 6: Stöder verktyget anslutning till olika datakällor?
Om vi använder ett automatiseringsramverk som nyckelorddrivet eller datadrivet måste vi ha förmågan att ansluta vårt verktyg till vilken datakälla som helst. Om verktyget enkelt kan ansluta till olika datakällor kommer det att vara mycket fördelaktigt.
Se supporten för vanliga datakällor som en CSV-fil, Excel-fil, XML-fil och databas. Om dessa finns i ett verktyg är du bra att gå.
Fråga nr 7: Hur är rapporteringsmekanismen för automatiseringsverktyget?
När vi kör manuset kommer det antingen att passera eller misslyckas. Vid passering behövs inte mycket information förutom varaktighet och miljöinformation. Men vid misslyckande behöver vi en omfattande rapport om misslyckandet. Rapporten bör berätta för oss exakt i vilket steg manuset misslyckas. En ögonblicksbild av ögonblicket av misslyckande är en extra fördel.
Denna rapport bör också exporteras till olika format så att vi kan dela detta med intressenter. I många verktyg är dessa alternativ inbyggda och i vissa verktyg finns det sätt att göra din rapport heltäckande. Detta är en annan sak att se upp när du laddar ner testversionen av verktyget. Om det ger omfattande rapporter om fel är det bäst för organisationen.
char * till int c ++
Fråga # 8: Kan verktyget integreras med testfall och felshanteringsförvar?
Det finns en god chans att din organisation redan använder något testfall eller verktyg för felhantering . Företagen vill uppenbarligen att deras automatiska verktyg integreras med sitt befintliga verktyg för testfallshantering så att hela deras applikationslivscykel hanteras ordentligt. Denna aspekt bör också ses när du väljer testautomationsverktyget.
QTP stöder QLM, kodat UI-stöd TFS och TestComplete stöder QAComplete. Vissa Open source-verktyg har också stöd för att integreras med befintliga testhanteringsverktyg för öppen källkod. Allt beror på vad din organisation faktiskt använder.
Fråga nr 9: Hur är officiellt tekniskt stöd för verktyget?
Här pratar vi bara om kommersiella verktyg. När du väljer ett kommersiellt verktyg är deras supportaspekt mycket viktigt. Se utbildningsmaterialet på webbplatsen. Innehåller webbplatsen videor och handledning? Har webbplatsen ett officiellt forum för att ställa frågor? Ladda ner rättegången och skjut en fråga på deras forum och se hur många dagar den får svar. Ger de stöd för ett samtal?
Ovanstående frågor bör verkligen ställas varje gång eftersom du spenderar en hel del pengar på verktyget. Om verktyget inte har bra stöd, bry dig inte om att köpa det.
Fråga # 10: Några tekniska aspekter att se
Det finns några andra tekniska aspekter att se också som:
a) Stöd för inspelning och uppspelning
Det är inte ett rekommenderat tillvägagångssätt för testautomatisering, men det är bra att ha ett verktyg. Det förenklar inlärningsprocessen för verktyget och hjälper enkla scenarier att automatiseras.
b) Olika metoder för objektigenkänning och stöd för objektmappning
Det bör finnas en mängd olika val av samma objekt med olika metoder. Vissa föremål är svåra att känna igen. Så olika urvalsmetoder är alltid till hjälp.Till exempel, selen stöder markering av objekt efter id, namn, klass, länkprov, XPATH , CSS-väljare och JavaScript. Här är en handledning om - hur QTP identifierar objekt unikt . Om en urvalsmetod inte fungerar har vi en mängd andra metoder att välja mellan som alltid är till hjälp.
På samma sätt bör det finnas ett alternativ att korrekt kartlägga dessa objekt i objektförvaret. Det här förvaret ska vara lätt att uppdatera och hantera. Bara för att påminna dig om att Selen inte har inbyggt stöd för objektmappning.
c) Olika kontrollpunkter eller påståendestöd.
Testfallet klaras eller misslyckas baserat på kontrollpunkter eller påståenden. Om verktyget har olika metoder för att kontrollera dina förväntade resultat är det fördelaktigt. QTP har en mängd olika kontrollpunkter som Standard , Bitmapp , Tabell , XML, databas och kontrollinnehåll för filinnehåll.
d) Hantering av återställningsscenarier.
Om testfallet misslyckas och du vill fortsätta körningen, stöder verktyget så enkelt? Om återställningsscenarier är lätta att hantera i ett verktyg, kan du utföra testfall utan problem. Du kan köra testfallet på natten och på morgonen får du resultaten som anger vilka testfall som misslyckats och vilka testfall som godkänts. Detta händer bara om återhämtning från misslyckade testfall enkelt kan hanteras av verktyget. Annars kommer en hel del automatiseringsarbete att slösas bort i hanteringen av återställningsscenarier. Ser hantering av återställningsscenarier i QTP .
Slutsats
Kom alltid ihåg att inget verktyg är ett bra eller dåligt verktyg. Allt beror på dina krav och produktens natur.
Selen kan vara det mest populära automatiseringsverktyget, men om din produkt är skrivbordsbaserad har det här verktyget ingen användning för dig. Förstå din produkt först och sök sedan efter lämpligt verktyg som matchar dina krav med hjälp av riktlinjerna som nämns i denna handledning.
Korrekt val av automatiseringsverktyg spelar en viktig roll för framgångsrik automatisering.
Nästa handledning - Vår nästa handledning i denna serie handlar om 'Skriptutveckling och automatiseringsramar med exempel'. Återigen, kolla alla handledning i denna serie på den här sidan .
Skicka gärna dina frågor / kommentarer nedan om att välja rätt automatiseringsverktyg.
PREV Handledning nr 3 | NÄSTA självstudie # 5
Rekommenderad läsning
- Sikuli GUI Automation Testing Tool - Beginner's Guide Part # 2
- Alpha Testing och Beta Testing (En komplett guide)
- Geb Tutorial - Browser Automation Testing med hjälp av Geb Tool
- Byggverifieringstestning (BVT-testning) Komplett guide
- Bästa verktyg för testning av programvara 2021 (QA Test Automation Tools)
- Funktionell testning mot icke-funktionell testning
- Steg för steg guide för att implementera POC (Proof of Concept) i Automation Testing
- 10-stegs automatiseringstestprocess: Hur man startar automatiseringstestning i din organisation