ETL vs. DB-testning - En närmare titt på ETL-testbehov, planering och ETL-verktyg

etl vs db testing closer look etl testing need

Programvarutestning har en mängd olika områden som ska koncentreras. Stora sorter är funktionella och icke-funktionella tester. Funktionstestning är det procedurella sättet att säkerställa att den utvecklade funktionaliteten fungerar som förväntat. Icke-funktionell testning är det tillvägagångssätt genom vilket de icke-funktionella aspekterna som förbättrad eller prestanda på en acceptabel nivå kan säkerställas.

Det finns en annan smak av testning som kallas DB-testning . Data organiseras i databasen i form av tabeller. För företag kan det finnas flöden där data från flera tabeller kan slås ihop eller bearbetas till en enda tabell och tvärtom.

ETL-testning är varandra typ av test som föredras i affärsfallet där ett slags rapporteringsbehov efterfrågas av kunderna. Rapporteringen eftersträvas för att analysera kraven, behoven och utbudet så att kunder, företag och slutanvändare blir mycket väl betjänade och gynnade.

Vad kommer du att lära dig i den här handledningen?

I den här handledningen lär du dig vad som är databastestning, vad är ETL-testning, en skillnad mellan DB-testning och ETL-testning, och mer information om ETL-testbehov, process och planering med verkliga exempel.

Vi har också täckt ETL-testning mer detaljerat på nedanstående sida. Ta också en titt på det.

=> ETL Test / Data Warehouse Testing Tips and Techniques

Vad du kommer att lära dig:

• DB-testning vs ETL-testning
  • Jämförande studie av ETL- och DB-testning
  • Varför ska företaget gå efter ETL?
  • ETL-testplanering
  • Kritiska ETL-behov
  • Grundläggande frågor i ETL-testning
  • Poäng att komma ihåg medan ETL-testplanering och utförande
  • ETL-verktyg och deras betydande användning
  • Slutsats
  • Rekommenderad läsning

DB-testning vs ETL-testning

De flesta av oss är lite förvirrade över att både databastestning och ETL-testning är likadana och samma. Faktum är att de liknar men inte samma sak.

DB-testning:

DB-testning används vanligtvis i stor utsträckning i affärsflöden där det finns flera dataflöden i applikationen från flera datakällor till en enda tabell. Datakällan kan vara en tabell, platt fil, applikation eller något annat som kan ge viss utdata.

I sin tur kan de erhållna outputdata fortfarande användas som input för det sekventiella affärsflödet. Därför när vi utför DB-testning är det viktigaste som måste fångas hur data kan transformeras från källan tillsammans med hur de sparas på destinationsplatsen.

Synkronisering är en viktig och viktig sak som måste beaktas när DB-testning utförs. På grund av applikationens placering i det arkitektoniska flödet kan det finnas få problem med data- eller DB-synkronisering. Därför måste man ta hand om detta när testet utförs eftersom detta kan övervinna potentialen ogiltiga defekter eller buggar.

Exempel 1:

Projekt 'A' har integrerad arkitektur där den specifika applikationen använder data från flera andra heterogena datakällor. Därför måste integriteten för dessa data med destinationsplatsen göras tillsammans med valideringen för följande:

• Validering av främmande främmande nyckel
• Kolumn värderar integritet
• Nollvärden för alla kolumner

Vad är ETL-testning?

ETL-testning är en speciell typ av test som kunden vill ha för att göra det för sin prognos och analys av sin verksamhet. Detta används mest för rapporteringsändamål. Till exempel, om klienterna måste ha rapporterat om kunderna som använder eller väljer sin produkt baserat på den dag de köper, måste de använda ETL-rapporterna.

Posta analys och rapportering , dessa uppgifter är datalagerad till ett datalager där den gamla historiska affärsdata måste flyttas.

bästa gratis mp3-nedladdningsapp för Android

Detta är en testning på flera nivåer eftersom data från källan omvandlas till flera miljöer innan den når den slutliga bestämda platsen.

Exempel 2:

Vi kommer att överväga en grupp 'A' som gör affärskunder genom en shoppingmarknad där kunden kan köpa alla hushållsartiklar som behövs för sin dagliga överlevnad. Här får alla kunder som besöker ett unikt medlems-ID som de kan få poäng varje gång de kommer för att köpa saker från shoppingmarknaden.

Gruppens regler föreskriver att de poäng som uppnås upphör varje år. Och beroende på deras användning kan medlemskapet antingen uppgraderas till en högre klassmedlem eller nedgraderas till en lägre klass jämfört med nuvarande betyg.

Efter 5 år av shoppingmarknadsetablering letar nu ledningen efter att öka sin verksamhet tillsammans med intäkter.

De krävde därför få affärsrapporter så att de kan marknadsföra sina kunder.

I databastestning utför vi följande:

# 1) Valideringar på måltabellerna som skapas med kolumner med logiska beräkningar som beskrivs i det logiska kartläggningsbladet och datarutedokumentet.

#två) Manipulationer som att infoga, uppdatera och radera kunddata kan utföras på alla slutanvändares POS-applikationer i ett integrerat system tillsammans med backend-databasen så att samma förändringar återspeglas i slutsystemet.

# 3) DB-testning måste säkerställa att det inte finns några kunddata som har tolkats felaktigt eller till och med trunkerats. Detta kan leda till allvarliga problem som felaktig mappning av kunddata med deras lojalitet

I ETL-test kontrollerar vi följande:

# 1) Förutsatt att det finns 100 kunder i källan, kommer du att kontrollera om alla dessa kunder tillsammans med deras data från de 100 raderna har flyttats från källsystemet till målet. Detta kallas verifiering av Datakontroll.

#två) Kontrollerar om kunddata har ordentligt manipulerats och demonstrerats i de 100 raderna. Detta kallas helt enkelt verifiering av Kontroll av datanoggrannhet .

# 3) Rapporter för kunder som har fått poäng mer än x-värden inom en viss period.

Jämförande studie av ETL- och DB-testning

ETL- och DB-testning har få av de aspekter som skiljer sig åt sig själva som är viktigare att förstå innan de utförs. Detta hjälper oss att förstå testets värden och betydelse och hur det hjälper verksamheten.

Följande är en tabellform som beskriver det grundläggande beteendet hos båda testformaten.

Varför ska företaget gå efter ETL?

Massor av affärsbehov finns tillgängliga för dem att överväga ETL-testning. Varje företag måste ha sitt unika uppdrag och sin bransch. Alla företag har sin produktlivscykel som tar generisk form:

Det är mycket tydligt att varje ny produkt kommer in på marknaden med en enorm försäljningstillväxt och till ett stadium som kallas mognad och därefter minskar försäljningen. Denna gradvisa förändring bevittnar en definitiv nedgång i företagstillväxten. Därför är det viktigare att analysera kundernas behov för affärstillväxten och andra faktorer som krävs för att göra organisationen mer lönsam.

Så i verkligheten vill klienterna analysera historiska data och komma med några rapporter strategiskt.

ETL-testplanering

Ett av huvudstegen i ETL-testning handlar om att planera testet som ska utföras. Det kommer att likna Testplan för systemtestning som vanligtvis utförs utom få attribut som krav och testfall.

Här är kraven inget annat än a kartläggningsark som kommer att ha en slags mappning mellan data i olika databaser. Eftersom vi är medvetna om att ETL-testningen sker på flera nivåer finns det olika mappningar som behövs för att validera detta.

För det mesta är data som fångas från källdatabaserna inte direkt. All källdata kommer att ha tabellernas vy varifrån data kan användas.

Exempel: Nedan följer ett exempel på hur mappningarna kan tillhandahållas. De två kolumnerna VIEW_NAME och TABLE_NAME kan användas för att representera vyerna för läsning av data från källan respektive tabellen i ETL-miljön.

Det är tillrådligt att behålla namngivningskonventionen som kan hjälpa oss när vi planerar för automatisering. Generisk notation som kan användas är att bara prefixa namnet på miljön.

var kan jag titta på anime gratis

Det viktigaste i ETL handlar om att identifiera väsentliga data och tabellerna från källan. Nästa viktiga steg är kartläggningen av tabeller från källan till ETL-miljön.

Nedan följer ett exempel på hur kartläggningen mellan tabellerna från olika miljöer kan relateras till ETL-syftet.

Ovanstående mappning förutsätter data från källtabellen till iscensättningstabellen. Och sedan fram till borden i EDW och sedan till OLAP vilket är den slutliga rapporteringsmiljön. Därför är datasynkronisering vid vilken tidpunkt som helst mycket viktigt för ETL: s skull.

Kritiska ETL-behov

Som vi förstår är ETL behovet av prognoser, rapportering och analys av verksamheten för att fånga kundernas behov på ett mer successivt sätt. Detta gör det möjligt för företaget att ställa högre krav än tidigare.

Här är några av de kritiska behoven utan vilka ETL-testning inte kan uppnås:

1. Data och tabeller identifiering : Detta är viktigt eftersom det kan finnas många andra irrelevanta och onödiga data som kan vara minst viktiga vid prognoser och analys av kundernas behov. Därför måste relevanta data och tabeller väljas innan ETL-arbetet startas.
2. Kartläggningsark : Detta är ett av de kritiska behoven när man gör ETL-arbeten. Kartläggning av rätt tabell från källan till destinationen är obligatorisk och eventuella problem eller felaktiga data i detta blad kan påverka hela ETL-leveransen.
3. Tabelldesign och data, kolumntyp : Detta är nästa stora steg när man överväger att kartlägga källtabeller till de avsedda tabellerna. Kolumntypen måste matcha tabellerna på båda platserna etc.
4. Databasåtkomst : Det viktigaste är tillgång till databasen där ETL fortsätter. Eventuella begränsningar av åtkomst kommer att ha motsvarande inverkan.

ETL-rapportering och testning

Rapportering i ETL är viktigare eftersom det förklarar och styr kunderna som kunden behöver. Genom detta kan de prognostisera och analysera de exakta kundernas behov

Exempel # 3:

Ett företag som tillverkar silketyg ville analysera sin årliga försäljning. Vid granskning av deras årliga försäljning fann de under augusti och september att det fanns ett enormt nedgång i försäljningen med hjälp av rapporten de genererade.

Därför bestämde de sig för att lansera kampanjerbjudandet som utbyte, rabatter etc. som förbättrade deras försäljning.

Grundläggande frågor i ETL-testning

Det kan finnas ett antal problem när du utför ETL-testning som följande:

• Antingen är tillgången till källtabellerna eller vyerna inte giltig.
• Kolumnnamnet och datatypen från källan till nästa lager kanske inte matchar.
• Ett antal poster från källtabellen till den avsedda tabellen kanske inte matchar.

Och det kan finnas mycket mer.

Nedan följer ett exempel på kartläggningsblad där det finns kolumner som VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE och TRANSFORMATION LOGIC.

De första 3 kolumnerna representerar detaljerna i källdatabasen och de nästa 3 är detaljerna för den omedelbart föregående databasen. Den sista kolumnen är mycket viktig. Transformationslogik är hur data från källan läses och lagras i den avsedda databasen. Detta beror på affärs- och ETL-behov.

Poäng att komma ihåg medan ETL-testplanering och utförande

Det viktigaste i ETL-testning är laddning av data baserat på utvinningskriterierna från källan DB. När detta kriterium är ogiltigt eller föråldrat finns det inga uppgifter i tabellen för att utföra ETL-testning som verkligen ger fler problem.

Följande är några av de punkter som ska tas hand om när ETL-testplanering och utförande:

# 1) Data extraheras från de heterogena datakällorna
#två) ETL-processhantering i den integrerade miljön som har olika:

• DBMS
• DU
• Hårdvara
• Kommunikationsprotokoll

# 3) Nödvändigheten av att ha ett logiskt kartläggningsdataark innan de fysiska uppgifterna kan omvandlas
# 4) Förståelse och granskning av datakällorna
# 5) Initial belastning och inkrementell belastning
# 6) Granskningskolumner
# 7) Laddar fakta och dimensioner

ETL-verktyg och deras betydande användning

ETL-verktyg används i princip för att bygga och konvertera transformationslogik genom att ta data från källan till en annan som använder transformationslogiken. Du kan också mappa scheman från källan till destinationen som sker på unika sätt, transformera och rensa data innan den kan flyttas till destinationen, tillsammans med att ladda på destinationen på ett effektivt sätt.

Detta kan avsevärt minska de manuella ansträngningarna eftersom kartläggningen kan göras som används för nästan all ETL-validering och verifiering.

ETL-verktyg :

1. Informatik - PowerCenter - är ett av de populära ETL-verktygen som introduceras av Informatica Corporation. Detta har en mycket bra kundbas som täcker stora områden. De viktigaste komponenterna i verktyget är dess verktyg för klienter, förvaringsverktyg och servrar. Klicka på om du vill veta mer om verktyget här
2. IBM - Infosphere Information Server - IBM som är marknadsledande när det gäller datorteknik har utvecklat Infosphere Information-servern som används för informationsintegrering och -hantering under 2008. För att veta mer om verktyget, klicka på här
3. Oracle - Data Integrator - Oracle Corporation har utvecklat sitt ETL-verktyg i Oracle - Data Integrator. Deras ökande kundsupport har gjort att de uppdaterar sina ETL-verktyg i olika versioner. Klicka på om du vill veta mer om verktyget här

Fler exempel på användningen av ETL-testning:

Med tanke på vissa flygbolag som vill lansera kampanjer och erbjudanden för att locka kunder strategiskt. Först kommer de att försöka förstå kraven och behoven i kundens specifikationer. För att uppnå detta kommer de att behöva de historiska uppgifterna, företrädesvis de tidigare två års data. Med hjälp av data analyserar de och förbereder några rapporter som kan vara till hjälp för att förstå kundernas behov.

youtube video nedladdare för pc gratis nedladdning

Rapporterna kan vara av följande slag:

1. Kunder från region A som reser till region B vid vissa datum
2. Kunder med specifikt ålderskriterium reser till stad XX

Och det kan finnas många andra rapporter.

Analys av dessa rapporter hjälper kunderna att identifiera vilken typ av kampanjer och erbjudanden som kommer kunderna att gynna och samtidigt kan gynna företag där detta kan bli en Win-Win-situation. Detta kan enkelt uppnås med ETL-testning och rapporter.

Parallellt står IT-segmentet inför en allvarlig DB-fråga som har märkts som har stoppat flera tjänster i sin tur har potential att påverka verksamheten. Vid utredning identifierades att vissa ogiltiga data har skadat några databaser som behövde korrigeras manuellt.

I det tidigare fallet är det ETL-rapporter och testning som krävs.

Medan det senare fallet är där DB-testningen måste göras ordentligt för att lösa problem med ogiltiga data.

Slutsats

Hoppas att ovanstående handledning har gett en enkel och tydlig översikt över vad ETL-testning är och varför det måste göras tillsammans med de affärseffekter eller fördelar de ger. Detta slutar inte här, men det kan sträcka sig för att sätta framsyn i tillväxten i affärer.

Om författaren: Denna handledning är skriven av Nagarajan. Han är en testledare med över 6 års erfarenhet av programvarutestning inom olika funktionella områden som bank, flygbolag och telekom när det gäller både manuell och automatisering.

Låt oss veta dina tankar / frågor i kommentarerna nedan.

Rekommenderad läsning

• ETL Testing Intervju Frågor och svar
• ETL Testing Data Warehouse Testing Tutorial (En komplett guide)
• Topp 10 ETL-testverktyg 2021
• Hur man utför ETL-testning med Informatica PowerCenter Tool
• 31 Top Database Testing Intervjufrågor och svar
• 40+ bästa databastestverktyg - Populära datatestlösningar
• Komplett guide för databastestning (varför, vad och hur man testar data)
• Selenium Database Testing (med WebDriver och JDBC API)