Meny

Data Warehouse Testing Tutorial med exempel | ETL Testguide

  • Huvud
  • Övrig
  • Data Warehouse Testing Tutorial med exempel | ETL Testguide

data warehouse testing tutorial with examples etl testing guide

Prova Vårt Instrument För Att Eliminera Problem

Denna handledning behandlar mål och betydelse för datalagertestning, ETL-testansvar, fel i DW och ETL-distribution i detalj:

I denna Djupgående datalagerutbildningsserie , vi tittade på Vad är ET L Process i datalager i detaljer i vår tidigare handledning.

Denna handledning ger dig en förståelse för hur Data Warehouse Testing kan utföras i en organisation. Du kommer också att lära känna målen för DW-testning, hur och vilken typ av testning kan utföras i backend, vilka alla är inblandade i denna process, DW-fel och ETL-distribution i detalj.

=> Kontrollera ALLA datalagerhandledningar här.

ETL-testning av datalager

Målgrupp

  • Data Warehouse / ETL-utvecklare och testare.
  • Databasproffs med grundläggande kunskap om databaskoncept.
  • Databasadministratörer / Big data-experter som vill förstå Data Warehouse / ETL-koncept.
  • Högskoleexamen / nybörjare som letar efter datalagerjobb.

Vad du kommer att lära dig:

Testning av datalager (ETL)

Vilken betydelse har testning av datalager- och Business Intelligence-system?

Testning spelar en avgörande roll för framgången för något av ovanstående två system genom att säkerställa korrekta data som bygger slutanvändarnas tro.

I allmänhet kostar en defekt som finns i de senare stadierna av programvaruutvecklingens livscykel mer för att åtgärda den felet. Denna situation i DW kan försämras eftersom fel data som hittades i senare skeden kan ha använts i viktiga affärsbeslut vid den tiden.

Således är fixen i DW dyrare när det gäller process, människor och tekniska förändringar. Du kan börja DW-testningen direkt från kravuppsamlingsfasen.

En spårbarhetsmatris förbereds och granskas, och detta kartlägger huvudsakligen DW-funktionerna med deras respektive affärsbehov. Spårbarhetsmatrisen fungerar som en ingång till DW-testplanen som utarbetas av testarna. Testplanen beskriver de tester som ska utföras för att validera DW-systemet.

Den beskriver också vilka typer av tester som kommer att utföras på systemet. När testplanen är klar kommer alla detaljerade testfall att förberedas för olika DW-scenarier. Då kommer alla testfall att utföras och defekter loggas.

Det finns en standard i den operativa världen som upprätthåller olika miljöer för utveckling, testning och produktion. I DW-världen kommer både utvecklare och testare att se till att utvecklings- och testmiljöerna är tillgängliga med repliken av produktionsdata innan de börjar sitt arbete.

Detta kopieras till en lista med tabeller med begränsad eller fullständig data beroende på projektets behov, eftersom produktionsdata är riktigt stora. Utvecklarna utvecklar sin kod i utvecklarens miljö och levererar den till testarna.

Testarna kommer att testa koden som levereras i testmiljöerna för att säkerställa att alla system fungerar. Då går koden live i produktionsmiljöerna. DW-koden upprätthålls också i olika versioner baserat på de fel som fastställts i varje version. Att underhålla flera miljöer och kodversioner hjälper till att bygga ett system av god kvalitet.

angularjs intervjufrågor och svar för erfaren pdf

Test av Data Warehouse (ETL)

Låt oss ta en titt på Goals Of Data Warehouse Testing.

# 1) Datafullständighet: Se till att all data från olika källor laddas in i ett datalager. Testteamet validerar om alla DW-poster laddas mot källdatabasen och platta filer genom att följa nedanstående exempelstrategier.

  • Det totala antalet poster som laddats upp från källsystemet bör matcha det totala antalet poster som laddats in i DW. Om det finns en skillnad kan du tänka på de avvisade posterna.
  • Jämför data som laddats i varje DW-fält med källsystemets datafält. Detta kommer att ta fram datafelen om något.

# 2) Datatransformation: Medan du laddar upp källdata till datalagret kan få fält laddas direkt med källdata, men få fält laddas med den data som omvandlas enligt affärslogiken. Detta är den komplexa delen av testning av DW (ETL).

Nedan följer exempelstrategier för att testa detta:

  • Du kan testa genom att skapa och jämföra data i kalkylark. Ladda källtransformerad data och DW-data i kalkylark och gör en jämförelse. Det borde inte finnas någon obalans.
  • Testare bör skriva frågorna enligt transformationslogiken för att jämföra DW-data med källdata. Frågekörning garanterar att datavalidering för något av fälten inte saknas.

# 3) Datakvalitet: ETL-systemet (Data Warehouse) måste säkerställa kvaliteten på den data som laddas in i det genom att avvisa (eller) korrigera data.

DW kan avvisa några av källsystemets data baserat på affärsbehovslogiken. Till exempel, avvisa en post om ett visst fält har icke-numeriska data. Alla avvisade poster laddas in i avslagstabellen för referens.

De avvisade uppgifterna rapporteras till klienterna eftersom det inte finns någon chans att lära känna denna missade data, eftersom den inte laddas in i DW-systemet. DW kan korrekt data genom att ladda noll i stället för nollvärden etc.

# 4) Skalbarhet och prestanda: Datalager måste säkerställa systemets skalbarhet med ökande belastningar. Med detta bör inte prestanda försämras när frågorna körs, med förväntade resultat i specifika tidsramar. Prestandatestning avslöjar alltså eventuella problem och fixar det före produktionen.

Nedan finns exempelstrategier för testning av prestanda och skalbarhet:

  • Gör prestandatestet genom att ladda produktionsvolymer med data och se till att tidsramarna inte missas.
  • Validera resultatet för varje fråga med massdata. Testa prestanda genom att använda enkla och flera kopplingar.
  • Ladda dubbel (eller) trippel till de datamängder som förväntas beräkna systemets kapacitet ungefär.
  • Testa genom att köra jobb för alla listade rapporter samtidigt.

# 5) Integrationstest: Datalager ska utföra integreringstestning med andra applikationer uppströms och nedströms. Om möjligt är det bättre att kopiera produktionsdata till testmiljön för Integration Testing.

Alla systemteam bör involveras i denna fas för att överbrygga luckorna medan de förstår och testar alla system tillsammans.

# 6) Enhetstestning: Detta utförs av de enskilda utvecklarna på deras leveranser. Utvecklare kommer att förbereda enhetstestscenarier baserat på deras förståelse för kraven, köra enhetstesterna och dokumentera resultaten. Detta hjälper utvecklarna att fixa eventuella buggar om de hittas innan de levererar koden till testteamet.

# 7) Regressionstest: Validerar att DW-systemet inte fungerar efter att några fel har åtgärdats. Detta utförs många gånger med varje ny kodändring.

# 8) Test av användaraccept: Denna testning utförs av företagsanvändare för att validera systemfunktionaliteten. UAT-miljön skiljer sig från QA-miljön. Avloggningen från UAT innebär att vi är redo att flytta koden till produktion.

vad är den bästa webbplatsen för nedladdning av mp3 gratis

Ur Data Warehouse och Business Intelligence-systemperspektivet kan affärsanvändare validera olika rapporter via ett användargränssnitt (UI). De kan validera rapportspecifikationerna mot kraven, kan validera riktigheten av data i rapporterna, kan validera hur snabbt systemet returnerar resultaten etc.

DW-testflödesdiagram:

Datalagertestningsflödesdiagram

Ansvar för datalagertestning

Nedan listas de olika team som är involverade i att leverera ett framgångsrikt DW-system:

  • Affärsanalytiker: Samla alla affärsbehov för systemet och dokumentera dem för allas önskemål.
  • Infrastrukturteam: Ställ in olika miljöer efter behov för både utvecklare och testare.
  • Utvecklare: Utveckla ETL-kod enligt kraven och utför enhetstester.
  • QA (kvalitetssäkring) / testare: Utveckla testplan, testfall etc. Identifierar defekter i systemet genom att utföra testfallet. Utför olika testnivåer.
  • DBA: er DBA: er ansvarar för att konvertera logiska ETL-databasscenarier till fysiska ETL-databasscenarier och involverar också i prestandatestning.
  • Affärsanvändare: Involvera i testning av användaraccept, kör frågor och rapporter på DW-tabeller.

Fel i datalager

När du extraherar, transformerar och laddar (ETL) data från flera källor finns det chanser att du får dålig data som kan avbryta de långvariga jobben.

Följande är de viktigaste orsakerna till fel i DW-systemet:

# 1) Brott mot affärsregler (logiska fel): Logiskt fel data bryter mot affärsreglerna. Sådan data kan hanteras mestadels under omvandlings- eller laddningsfaser.

# 2) Brott mot dataregler (datafel): Datafel inträffar inuti DW-databassystemet som datatypsfel, datafel, etc.

ETL-distribution

Detta är den fas där alla dina ansträngningar går live. Alla produktionsstöddokument bör förberedas.

Dokumentationen berättar för andra om sekvensen av jobb som ska köras, felåterställningsscenarier, utbildningsmaterial till DW-supportteamen för att övervaka systemet efter utplaceringen och till det administrativa supportteamet för att utföra rapporterna.

Slutsats

Vi lärde oss om målen för datalagertestning, ETL-testansvar, fel i DW och ETL-distribution i detalj i denna handledning.

Vi hoppas att du fick en uppfattning om hur detaljerad testning kan göras i ett ETL-system (Data Warehouse).

=> Besök här för att lära dig datalagring från Scratch.

Rekommenderad läsning

^