Meny

Oracle Data Warehouse: Data Warehouse Architecture & More

  • Huvud
  • Övrig
  • Oracle Data Warehouse: Data Warehouse Architecture & More

oracle data warehouse

Prova Vårt Instrument För Att Eliminera Problem

Oracle Data Warehouse Guide med fördelar, arkitektur, risker och jämförelse med OLTP-system (Online Transaction Processing):

I föregående handledning av Omfattande guide till Oracle , vi har lärt oss om Oracle-produkter och -tjänster inom olika domäner som applikationer, databaser, operativsystem etc. Den här artikeln kommer att ge djupgående kunskap om Oracle Data Warehousing. Men innan det först ska vi förstå begreppet Business Intelligence (BI).

Business Intelligence

Business Intelligence är en mjukvarudomän som förkroppsligar vissa metoder, tekniker, verktyg och applikationer som hjälper till att strukturera, förfina och omvandla bulkdata till ett intelligent och förståeligt format som kan användas av kunder för att generera skräddarsydda rapporter och också hjälper till att ta affärer beslut.

Oracle Data Warehousing

Olika alternativ är tillgängliga för att tillgodose detta behov som datalagring, OLAP (online transaktionsbehandling), datautvinning, dataintegration, beslutsteknik, kalkylblad etc.

Enterprise Data Warehousing (EDW) är en av kärnkomponenterna i BI som tjänar företagens analys- och rapporteringsbehov. Data Warehouse är ett Relational Database Management System (RDBMS), som innehåller konsoliderad data mottagen från flera källor för senare användning.

vilket av följande är vägen till knappen "ta en skärmdump"?

Vad du kommer att lära dig:

Oracle Data Warehouse Översikt

Varför kallas det ”Data Warehouse”?

Låt oss försöka komma ihåg innebörden av ordet 'lager' för att relatera till termen 'Data Warehouse'.

Ett fysiskt lager är ett förråd som används för att lagra varor som tas emot från olika källor, som senare kan levereras till kunden baserat på deras behov.

Datalager

(bild källa )

På samma sätt är datalagret ett arkiv med data som tas emot från olika källsystem. Dessa källor kan vara alla lagringssystem som datamärken, platta filer eller andra medielagringsenheter som innehåller data för olika företagsdomäner som HR, försäljning, drift, resurshantering och marknadsföring etc.

Syftet med att ha ett datalager

Ett företag kanske har hört talas om begreppet datalager men de kan vara osäkra på om de ska inkludera den i sitt företag. Ändå skulle det alltid finnas ett behov av att dumpa data från olika källor på gemensam mark och arkivera dem så att lagringsutrymme kan frigöras från transaktionssystem. Det är här Data Warehousing-systemet blir ett affärskrav.

För att växa på marknaden bör ledningen vara bra på att fatta beslut som man bara kan göra efter att ha studerat en organisations tidigare trender noggrant. Därför bevaras denna arkiverade data i datalagret i ett välorganiserat och beräknat format så att det kan hänvisas för affärsanalys i framtiden.

Fördelar med datalagring

Datalager om det genomförs framgångsrikt kan vara fördelaktigt på följande sätt:

# 1) Det har förenklat analytikernas jobb genom att leverera en förbättrad version av business intelligence-lösningar. Den extraherar data från flera källsystem, transformerar och lagrar den som kan frågas direkt av företaget för analys.

Det erbjuder också olika verktyg som stöder följande:

  • Generering av anpassade affärsrapporter.
  • Interaktiva instrumentpaneler som visar nödvändig information.
  • Möjlighet att borra genom instrumentpaneler bara för att få detaljerna.
  • Data Mining & Trend Analys.

#två) Även efter att ha mottagit data från olika källsystem förblir data inom ett datalager konsekvent som ett resultat av omvandlingar som inträffade under ETL-processen. Konsekventa data ger förtroende för en beslutsfattare när det gäller noggrannhet.

# 3) Datalager definieras också som en tidsbesparing eftersom kritisk information som krävs av intressenter för att fatta affärsbeslut är tillgänglig på en enda plats och kan hämtas enkelt.

# 4) Dessa är utformade för att innehålla historiska data och kan därför ifrågasättas för att studera trender under olika tidsperioder. Det hjälper också intressenter att få fram den framtida tillväxtvägen.

Risker med att använda datalager

Tillsammans med fördelar innebär varje ny implementering också en uppsättning risker som måste tas om hand.

Nedan listas några av riskerna:

  1. Om källsystem inte är kompatibla med datalagringssystemet kan det sluta göra mycket manuellt arbete.
  2. Felaktig tidsberäkning av ETL-processen kan leda till avbrott i arbetet.
  3. Dessa är mycket avancerade lagringssystem och behöver därför högt underhåll. Alla arbetsflöden eller affärsändringar kan kosta mycket högt.
  4. Att ställa in ett datalager är tidskrävande eftersom det behöver mycket tid att förstå affärsflöden och identifiera integrationsfunktioner för att utforma ett lager.
  5. Datasäkerhet är alltid en risk här eftersom den innehåller gamla historiska data som om de läcks kan påverka verksamheten.

Jämförelse av OLTP Vs datalager

Skillnaderna mellan OLTP och Data Warehouse kan förstås från nedanstående tabell.

OLTPDatalagring
Infoga och uppdateringar är de viktigaste åtgärderna som utförs av slutanvändare på OLTP-system.Datalager efterfrågas huvudsakligen med SELECT-satsen och kan endast uppdateras med ETL-tjänster.
OLTP-system stöder affärstransaktioner.Data Warehouse stöder affärsbeslut som tagits efter analys av genomförda affärstransaktioner.
Data förblir flyktiga d.v.s. fortsätter att förändrasData ska inte ändras.
De har de senaste uppgifterna.De har historiska data.
Håller rådata utan några beräkningar.Innehåller sammanfattade och välberäknade data.
Data kommer att normaliseras.Data kommer att förbli avnormaliserade.
Oracle-databasens storlek kan variera från 50 MB till 100 GB.Oracle-databasens storlek kan variera från 100 GB till 2 TB.

Kontrasterande datalager och datamart

Data Warehouse och DataMart

Data Warehouse och DataMart, är inte båda termerna lika och verkar relaterade till datalagring.

Ja, de är relaterade och båda används för att lagra data. Huvudskillnaden mellan dem båda är kapaciteten att hålla data och denna skillnad hjälper slutanvändarna att välja rätt lagringsenhet för sina system.

Data Mart har mindre kapacitet att hålla data jämfört med datalagret och kan därför betraktas som en delmängd av den. Datamärken identifieras vanligtvis för att lagra begränsad data som kan vara av en viss avdelning eller bransch medan datalager kan användas för att hålla konsoliderad data för alla.

Låt oss ta ett exempel på en e-handelswebbplats som har olika kategorier för varor som mode, tillbehör, hushållsartiklar, böcker och skolmaterial, elektronikapparater etc.

Så, datamärken kan utformas för att lagra produktdatakategorin klokt medan datalager kan användas för att lagra fullständig webbplatsinformation inklusive historik på ett ställe.

Datamärken är mindre i storlek, de kan skapas mycket snabbare utan mycket analys som krävs för att designa ett datalager. Det tar dock mycket ansträngningar att hålla flera datamärken synkroniserade för att bibehålla datakonsistensen.

Översikt över ETL-processen

ETL (Extraction, Transformation, and Loading) är en process för att extrahera data från olika källsystem, transformera och ladda den till Data Warehouse-systemet. Det är en komplex process som behöver interagera med en mängd olika källsystem för datautvinning och därmed tekniskt utmanande också.

hur man skapar en Jira-instrumentpanel

Transformation behöver igen mycket analys för att förstå formatet på källsystem och föra data till det gemensamma formatet så att samma data kan lagras i datalagret.

ETL-processen är ett återkommande jobb som kan köras dagligen, varje vecka eller till och med varje månad beroende på affärsbehovet.

Datalagerarkitektur

Låt oss förstå arkitekturen i ett datalager som huvudsakligen är utformat för att lagra raffinerad data för fördefinierade affärsbehov. Arkitekturen består av 5 komponenter med dataflöde från topp till botten.

Komponenterna är som följer:

  • Datakällor
  • Datastaging
  • Datalager (datalagring)
  • Datamarsch (datalagring)
  • Datapresentation

Datalagerarkitektur

Låt oss förstå alla stadierna som listats ovan en efter en.

# 1) Datakällor

Det finns olika källsystem som fungerar som en input till datalagersystem.

Dessa källsystem kan vara:

  • Relationsdatabaser som Oracle, DB2, MySQL, MS Access, etc. som kan användas för att registrera dagliga transaktioner i alla organisationer. Dessa dagliga affärstransaktioner kan relateras till ERP, CRM, försäljning, ekonomi och marknadsföring etc.
  • Platta filer
  • webbservice
  • RSS-flöden och liknande källor.

# 2) Data Staging

När datakällorna är på plats skulle nästa steg vara att extrahera dessa data från källsystemen till lagerstegeringsområdet.

Eftersom data har hämtats från olika system som följer olika lagringsformat är det nödvändigt att omstrukturera data så att de får ett gemensamt format. Därför sker datatransformation som nästa steg.

Under omvandling sker datarengöring som inkluderar tillämpning av affärsregler, filtrering av data, borttagning av redundans, dataformatering, datasortering etc.

# 3) Datalager (datalagring)

När data väl har extraherats och transformerats laddas de in i en flerdimensionell miljö, dvs. Data Warehouse. Nu kan dessa bearbetade data användas för analys och andra ändamål av slutanvändare.

# 4) Datamärken (datalagring)

Som nämnts ovan är data nu redo att konsumeras av slutanvändare, det finns en valfri process för att skapa Data Marts som nästa steg. Dessa datamärken kan användas för att lagra sammanfattade data för en viss avdelning eller bransch för dedikerad användning.

Till exempel, separata datamärken kan läggas till för avdelningar som försäljning, ekonomi och marknadsföring, etc. som ett nästa steg som kommer att innehålla specifika data och tillåter en analytiker att utföra detaljerade frågor för affärsbehov. Det hindrar också alla andra slutanvändare från att komma åt hela lagret och därmed gör data säkra.

# 5) Dataåtkomstverktyg (datapresentation)

Det finns ett antal fördefinierade Business Intelligence-verktyg som kan användas av användare för att komma åt datalager eller datamärken. Dessa front-end-verktyg är utformade på ett extremt användarvänligt sätt genom att ge användarna en mängd olika alternativ för att komma åt data.

Alternativen nämns nedan:

  • Genom att tillämpa frågan på Oracle eller andra databaser direkt via SQL.
  • Rapportgenerering.
  • Utvecklar applikation.
  • Använda Data Mining-verktyg etc.

Få populära lagerverktyg som finns på marknaden är:

  • Analytix DS
  • Amazon Redshift
  • Ab Initio-programvara
  • Code Futures
  • Holistisk datahantering
  • Informatics Corporation

Molndatalager

Molndatalager

Datalager är överdrivet erkända av världen. Nästa fråga som uppstår: Använder vi ett optimerat tillvägagångssätt för att distribuera datalager?

hur man gör en kö i java

Sedan introducerades Cloud Data Warehousing som tar en överhand på Enterprise Data Warehousing (EDW). Konceptet med molnbaserade datalager har erbjudit olika fördelar.

Dessa är som följer:

(i) Skalbarhet: Data på molnsystem kan enkelt skalas upp och ner utan problem samtidigt som det tar mycket tid och resurser att utföra skalning på traditionella datalager.

(ii) Kostnadsbesparing: Molnbaserade datalager har gjort en anmärkningsvärd skillnad i den investering som krävs för en lagerinstallation. De har minskat bulkkostnaden på förhand genom att eliminera kostnaden för

    • Underhålla hårdvara / serverrum.
    • Personal som krävs för underhåll.
    • Övriga driftskostnader.

(iii) Prestanda: Prestanda är en annan faktor som gjorde det möjligt för molnbaserade system att dominera över traditionella. Om verksamheten expanderas globalt och data måste nås från olika delar av världen med snabbare vändning är molnbaserade lager bäst att använda.

Massively Parallel Processing (MPP) är en av de samarbetsmetoder som används av lager för att uppnå detsamma.

(iv) Anslutning: Som nämnts ovan, om data måste nås från flera geografiska platser, behöver användarna utmärkt anslutning till dessa lager och ett molnbaserat lager erbjuder detsamma.

Slutsats

Vi hoppas att ni alla har en rättvis uppfattning om Oracle Data Warehousing-systemet efter att ha läst ovanstående artikel. Låt oss veta om du behöver insikter om ett visst ämne kring datalagring så att vi kan täcka över detsamma i kommande handledning.

PREV-handledning | NÄSTA självstudie

Rekommenderad läsning

^