De 29 bästa intervjufrågorna och svaren för datatekniker

top 29 data engineer interview questions

Lista över de vanligaste intervjufrågorna för dataingenjörer och svar som hjälper dig att förbereda dig för den kommande intervjun:

Idag är datateknik det mest eftertraktade området efter mjukvaruutveckling och det har blivit ett av de snabbast växande jobbalternativen i världen. Intervjuer vill ha de bästa dataingenjörerna för sitt team och det är därför de tenderar att intervjua kandidaterna grundligt. De letar efter vissa färdigheter och kunskaper. Så du måste vara beredd att uppfylla deras förväntningar.

Vad du kommer att lära dig:

• Ansvar för en dataingenjör
• Färdigheter hos en dataingenjör
• Vanliga frågor om dataingenjörsintervjuer
  • Allmänna intervjufrågor
  • Tekniska intervjufrågor
• Slutsats
  • Rekommenderad läsning

Ansvar för en dataingenjör

Ansvaret inkluderar:

• Att hantera och övervaka data inom företaget.
• Underhåll och hantera datakällsystemet och iscenesättningsområdena.
• Förenkla datarengöring tillsammans med efterföljande byggnad och förbättra reduplicering av data.
• Gör tillgängligt och kör både datatransformation och ETL-process.
• Extrahera och göra ad-hoc-datafråga.

Färdigheter hos en dataingenjör

Med kvalifikationer behöver du också vissa färdigheter. Båda är avgörande när du förbereder dig för en dataingenjörs position. Här listar vi de fem bästa färdigheterna, i ingen särskild ordning, att du kommer att behöva bli en framgångsrik dataingenjör.

• Färdigheter i datavisualisering.
• Python och SQL.
• Datamodelleringskunskap för både Big Data och Data Warehousing
• Matematik
• Kunskap inom ETL
• Big Data-rymdupplevelse

Så du måste arbeta med att förbättra dessa färdigheter innan du börjar förbereda dig för din intervju. Och när du har polerat dina färdigheter, här är några intervjufrågor som du kan förbereda för att få intervjuarna att lägga märke till dig och anställa dig också.

Vanliga frågor om dataingenjörsintervjuer

Allmänna intervjufrågor

F # 1) Varför studerade du datateknik?

Svar: Denna fråga syftar till att lära dig mer om din utbildning, arbetserfarenhet och bakgrund. Det kan ha varit ett naturligt val i fortsättningen av din examen inom informationssystem eller datavetenskap. Eller kanske har du arbetat inom ett liknande område, eller kanske du övergår från ett helt annat arbetsområde.

Oavsett vad din historia kan vara, håll dig inte tillbaka eller skäm bort. Och medan du delar, fortsätt att lyfta fram de färdigheter som du har lärt dig på vägen och det utmärkta arbete du har gjort.

Börja dock inte med berättande. Börja med din utbildningsbakgrund lite och nå sedan till den del när du visste att du ville bli dataingenjör. Och fortsätt sedan hur du når hit.

F # 2) Vad är det tuffaste med att vara dataingenjör enligt dig?

Svar: Du måste svara på den här frågan ärligt. Inte alla aspekter av alla jobb är enkla och det vet din intervjuare. Syftet med denna fråga är inte att hitta din svaghet utan att veta hur du arbetar igenom saker som du har svårt att hantera.

Du kan säga något som: ”Som dataingenjör tycker jag att det är svårt att slutföra begäran från alla avdelningar i ett företag där de flesta ofta kommer med motstridiga krav. Så jag tycker ofta att det är utmanande att balansera dem därefter.

Men det har gett mig en värdefull inblick i avdelningarna och den roll de spelar i det övergripande företagets struktur. ” Och detta är bara ett exempel. Du kan och bör sätta din åsikt.

F # 3) Berätta för oss en incident där du skulle samla data från olika källor men mötte oväntade problem och hur löste du det?

Svar: Den här frågan är en möjlighet för dig att visa dina färdigheter för problemlösning och hur du anpassar dig till de plötsliga planförändringarna. Frågan kan behandlas generellt eller specifikt med kontext till datateknik. Om du inte har gått igenom en sådan upplevelse kan du ge ett hypotetiskt svar.

Här är ett exempel på svar: ”I mitt tidigare franchiseföretag skulle jag och mitt team samla in data från olika platser och system. Men en av franchiserna ändrade sitt system utan att meddela oss något i förväg. Detta resulterade i en handfull problem för datainsamling och bearbetning.

För att lösa det var vi tvungna att komma med en snabb kortsiktig lösning för att få väsentliga data in i företagets system. Och efter det har vi utvecklat en långsiktig lösning för att förhindra att sådana problem uppstår igen. ”

F # 4) Hur skiljer sig en datatekniker från en dataarkitekt?

Svar: Den här frågan är avsedd att kontrollera om du förstår att det finns skillnader i teamet för ett datalager. Du kan inte gå fel med svaret. Ansvaret för dem båda överlappar eller varierar beroende på vad databasunderhållsavdelningen eller företaget behöver.

Du kan säga att ”enligt min erfarenhet varierar skillnaden mellan rollerna som dataingenjör och dataarkitekt från företag till företag. Även om de arbetar mycket nära varandra, finns det skillnader i deras allmänna ansvar.

Att hantera servrarna och bygga arkitekturen för ett företags datasystem är en dataarkitekt. Och en dataingenjörs arbete är att testa och underhålla den arkitekturen. Tillsammans med det ser vi, dataingenjörer, till att de uppgifter som görs tillgängliga för analytikerna är av hög kvalitet och pålitliga. ”

Tekniska intervjufrågor

F # 5) Vad är Big Datas fyra V?

(bild källa )

Svar:

De fyra V: erna med Big Data är:

• Den första V är Hastighet som hänvisas till den hastighet med vilken Big Data genereras över tiden. Så det kan betraktas som att analysera data.
• Den andra V är Mängd av olika former av Big Data, vare sig det gäller bilder, loggfiler, mediefiler och röstinspelningar.
• Den tredje V är Volym av uppgifterna. Det kan vara i antalet användare, antalet tabeller, storleken på data eller antalet poster.
• Den fjärde V är Sanning relaterade till osäkerheten eller säkerheten i uppgifterna. Med andra ord bestämmer det hur säker du kan vara om datans noggrannhet.

F # 6) Hur skiljer sig strukturerad data från ostrukturerad data?

Svar: Nedanstående tabell förklarar skillnaderna:

F # 7) Vilka ETL-verktyg känner du till?

Svar: Namnge alla ETL-verktyg du har arbetat med. Du kan säga, ”Jag har arbetat med SAS Data Management, IBM Infosphere och SAP Data Services. Men min favorit är PowerCenter från Informatica. Den är effektiv, har en extremt hög prestanda och är flexibel. Kort sagt, den har alla viktiga egenskaper hos ett bra ETL-verktyg.

De driver smidigt affärsdata och garanterar åtkomst till data även när det sker förändringar i verksamheten eller dess struktur. ” Se till att du bara pratar om de du har arbetat med och de du gillar att arbeta med. Eller det kan tanka din intervju senare.

F # 8) Berätta om designscheman för datamodellering.

Svar: Datamodellering kommer med två typer av designscheman.

De förklaras enligt följande:

• Den första är Stjärnschema , som är uppdelad i två delar - faktatabellen och dimensionstabellen. Här är båda tabellerna anslutna. Stjärnschema är den enklaste datamart-schemastilen och närmast också. Det heter så eftersom dess struktur liknar en stjärna.
• Den andra är Snöflingaschema vilket är förlängningen av stjärnschemat. Det lägger till ytterligare dimensioner och kallas en snöflinga eftersom dess struktur liknar en snöflinga.

F # 9) Vad är skillnaden mellan stjärnschema och snöflingaschema?

(bild källa )

Svar: Nedanstående tabell förklarar skillnaderna:

F # 10) Vad är skillnaden mellan datalager och operativ databas?

Svar: Nedanstående tabell förklarar skillnaderna:

F # 11) Peka på skillnaden mellan OLTP och OLAP.

Svar: Nedanstående tabell förklarar skillnaderna:

F # 12) Förklara huvudkonceptet bakom Framework of Apache Hadoop.

Svar: Den är baserad på MapReduce-algoritmen. I denna algoritm, för att bearbeta en enorm datamängd, används kart- och reduceringsåtgärder. Kartlägg, filtrera och sortera data medan Reduce, sammanfattar data. Skalbarhet och feltolerans är nyckelpunkterna i detta koncept. Vi kan uppnå dessa funktioner i Apache Hadoop genom att effektivt implementera MapReduce och Multi-threading.

F # 13) Har du någonsin arbetat med Hadoop Framework?

(bild källa )

Svar: Många anställningschefer frågar om Hadoop-verktyget i intervjun för att veta om du känner till de verktyg och språk som företaget använder. Om du har arbetat med Hadoop Framework, berätta för dem detaljerna i ditt projekt för att belysa dina kunskaper och färdigheter med verktyget och dess kapacitet. Och om du aldrig har arbetat med det, kommer en del undersökningar för att visa att du känner till dess attribut att fungera.

Du kan säga, till exempel, ”När jag arbetade med ett teamprojekt har jag haft chansen att arbeta med Hadoop. Vi fokuserade på att öka effektiviteten i databehandlingen, så på grund av dess förmåga att öka hastigheten på databehandling utan att kompromissa med kvaliteten under den distribuerade behandlingen beslutade vi att använda Hadoop.

Och eftersom mitt tidigare företag förväntade sig en avsevärd ökning av databehandlingen de närmaste månaderna, var dess skalbarhet också bra. Hadoop är också ett öppen källkodsnätverk baserat på Java, vilket gör det till det bästa alternativet för projekten med begränsade resurser och ett enkelt att använda utan ytterligare utbildning. ”

hur man öppnar en .bin fil på Windows

F # 14) Nämn några viktiga funktioner i Hadoop.

Svar: Funktionerna är som följer:

• Hadoop är ett gratis open source-ramverk där vi kan ändra källkoden enligt våra krav.
• Den stöder snabbare distribuerad databehandling. HDFS Hadoop lagrar data på ett distribuerat sätt och använder MapReduce för att parallellt bearbeta data.
• Hadoop är mycket tolerant och som standard, i olika noder, tillåter det användaren att skapa tre repliker av varje block. Så om en av noderna inte lyckas kan vi återställa data från en annan nod.
• Den är också skalbar och är kompatibel med många hårdvaror.
• Eftersom Hadoop lagrade data i kluster, oberoende av alla andra operationer. Därför är det pålitligt. Den lagrade informationen påverkas inte av maskinens funktionsfel. Och så är det också tillgängligt.

F # 15) Hur kan du öka affärsintäkterna genom att analysera Big Data?

Svar: Big data-analys är en viktig del av företagen eftersom det hjälper dem att skilja sig från varandra tillsammans med att öka intäkterna. Big data-analys erbjuder skräddarsydda förslag och rekommendationer till företag genom prediktiv analys.

Det hjälper också företag att lansera nya produkter baserat på kundernas preferenser och behov. Detta hjälper företagen att tjäna betydligt mer, cirka 5-20% mer. Företag som Bank of America, LinkedIn, Twitter, Walmart, Facebook, etc. använder Big Data Analys för att öka sina intäkter.

F # 16) Vilka steg måste du följa när du distribuerar en Big Data-lösning?

Svar: Det finns tre steg att följa när du distribuerar en Big Data-lösning:

• Förtäring av data- Det är det första steget i att distribuera en Big Data-lösning. Det är extraheringen av data från olika källor som SAP, MYSQL, Salesforce, loggfiler, intern databas, etc. Dataintag kan ske genom realtidsströmning eller batchjobb.
• Datalagring- När data har intagats ska de extraherade uppgifterna lagras någonstans. Den lagras antingen i HDFS- eller NoSQL-databaser. HDFS fungerar bra för sekventiell åtkomst via HBase för slumpmässig läs- eller skrivåtkomst.
• Databehandling- Detta är det tredje och det avslutande steget för implementering på en Big Data-lösning. Efter lagring bearbetas data genom en av huvudramarna som MapReduce eller Pig.

F # 17) Vad är en block- och block-skanner i HDFS?

Svar: Ett block är den minsta mängd data som kan skrivas eller läsas i HDFS. 64MB är standardstorleken för ett block.

Blockskannern är ett program som regelbundet spårar antalet block på en DataNode tillsammans med att verifiera dem för eventuella kontrollsummafel och dataskador.

F # 18) Vilka är de utmaningar du har ställt inför när du introducerar nya dataanalysapplikationer om du någonsin har introducerat en?

Svar: Om du aldrig har infört ny dataanalys kan du helt enkelt säga det. Eftersom de är ganska dyra och därför är det inte ofta som företag gör det. Men om ett företag väljer att investera i det kan det vara ett extremt ambitiöst projekt. Det skulle behöva högutbildade anställda för att installera, ansluta, använda och underhålla dessa verktyg.

Så, om du någonsin har gått igenom processen, berätta för dem vilka hinder du mötte och hur du övervunnit dem. Om du inte har gjort det, berätta för dem i detalj vad du vet om processen. Den här frågan avgör om du har grundläggande kunskap för att komma igenom de problem som kan uppstå under introduktionen av nya dataanalysapplikationer.

Exempelsvar; ”Jag har varit en del av att introducera ny dataanalys i mitt tidigare företag. Hela processen är genomarbetad och behöver en välplanerad process för en smidig möjlig övergång.

Men även med oklanderlig planering kan vi inte alltid undvika oförutsedda omständigheter och problem. En sådan fråga var en oerhört stor efterfrågan på användarlicenser. Det gick utöver vad vi förväntade oss. För att erhålla ytterligare licenser var företaget tvunget att omfördela de ekonomiska resurserna.

Dessutom måste träning planeras så att det inte hindrar arbetsflödet. Vi var också tvungna att optimera infrastrukturen för att stödja det stora antalet användare. ”

F # 19) Vad händer om NameNode kraschar i HDFS-klustret?

Svar: HDFS-klustret har bara en NameNode och det underhåller DataNodes metadata. Att bara ha en NameNode ger HDFS-kluster en enda felpunkt.

Så om NameNode kraschar kan system bli otillgängliga. För att förhindra det kan vi ange en sekundär NameNode som tar de periodiska kontrollpunkterna i HDFS-filsystem men det är inte en säkerhetskopia av NameNode. Men vi kan använda den för att återskapa NameNode och starta om.

F # 20) Skillnad mellan NAS och DAS i Hadoop-klustret.

Svar: I NAS är lagrings- och beräkningsskikt separata, och sedan distribueras lagring mellan olika servrar i nätverket. I DAS är lagring vanligtvis kopplad till beräkningsnoden. Apache Hadoop bygger på principen att bearbeta nära en specifik dataläge.

Därför bör lagringsskivan vara lokal för beräkning. DAS hjälper dig att få prestanda på ett Hadoop-kluster och kan användas på råvaruhårdvara. Med enkla ord är det mer kostnadseffektivt. NAS-lagring föredras med hög bandbredd på cirka 10 GbE.

F # 21) Är det bättre att bygga en NoSQL-databas än att bygga en relationsdatabas?

(bild källa )

Svar: Som svar på denna fråga måste du visa upp din kunskap om båda databaserna. Du måste också säkerhetskopiera det med ett exempel på situationen som visar hur du kommer eller har tillämpat kunskapen i ett riktigt projekt.

Ditt svar kan vara ungefär så här ”I vissa situationer kan det vara fördelaktigt att bygga en NoSQL-databas. I mitt senaste företag när franchise-systemet exponentiellt ökade i storlek, var vi tvungna att skala upp snabbt för att få ut det mesta av all operativ och försäljningsinformation vi hade.

Att skala ut är bättre än att skala upp med större servrar när du hanterar den ökade databehandlingsbelastningen. Det är kostnadseffektivt och lättare att uppnå med NoSQL-databaser eftersom det enkelt kan hantera stora datamängder. Det är praktiskt när du behöver reagera snabbt på betydande datalastförskjutningar i framtiden.

Även om relationsdatabaser har bättre anslutning till alla analysverktyg. Men NoSQL-databaser har mycket att erbjuda. ”

F # 22) Vad gör du när du stöter på ett oväntat problem med underhåll av data? Har du provat några out-of-the-box-lösningar för det?

Svar: Oundvikligen uppstår oväntade problem då och då i varje rutinuppgift, även under underhåll av data. Den här frågan syftar till att veta om du kan hantera högtryckssituationer och hur.

Du kan säga något som “dataunderhåll kan vara en rutinuppgift, men det är viktigt att du noga följer de specifika uppgifterna, inklusive att se till att manusen lyckas.

En gång när jag genomförde integritetskontrollen kom jag över ett korrupt index som kunde ha orsakat allvarliga problem i framtiden. Därför kom jag med en ny underhållsuppgift för att förhindra att korrupta index läggs till i företagets databas. ”

F # 23) Har du någonsin tränat någon inom ditt område? Om ja, vad har du tyckte mest utmanande med det?

Svar: Vanligtvis behövs dataingenjörer för att utbilda sina medarbetare i nya system eller processer som du har skapat eller utbilda nya anställda i redan befintliga system och arkitektur. Så med den här frågan vill din intervjuare veta om du klarar det. Om du inte har haft möjlighet att träna någon själv, prata om de utmaningar som någon som tränade eller du vet att du mötte.

Ett exempel på det perfekta svaret kommer att vara ungefär så här. ”Ja, jag har fått chansen att utbilda små och stora grupper av medarbetare. Att utbilda nya medarbetare med stor erfarenhet i ett annat företag är den mest utmanande uppgiften jag har stött på. De är ofta så vana att närma sig data från ett annat perspektiv att de kämpar för att acceptera det sätt vi gör saker på.

Ofta är de extremt meningsfulla och tror att de vet allt rätt och det är därför det tar mycket tid för dem att inse att ett problem kan ha mer än en lösning. Jag försöker uppmuntra dem att öppna sina sinnen och acceptera alternativa möjligheter genom att betona hur framgångsrik vår arkitektur och processer har varit. ”

F # 24) Vilka är för- och nackdelarna med att arbeta inom molnbearbetning?

(bild källa )

Svar:

Fördelar:

• Ingen infrastrukturkostnad.
• Minimihantering.
• Inga problem med ledning och administration.
• Lätt att komma åt.
• Betala för det du använder.
• Det är pålitligt.
• Det erbjuder datakontroll, säkerhetskopiering och återställning.
• Enorm förvaring.

Nackdelar:

• Det behöver en bra internetanslutning med lika bra bandbredd för att fungera bra.
• Det har sin stilleståndstid.
• Din kontroll av infrastruktur kommer att vara begränsad.
• Det finns liten flexibilitet.
• Det har vissa löpande kostnader.
• Det kan finnas säkerhets- och tekniska problem.

F # 25) Dataingenjörernas arbete är vanligtvis ”backstage”. Är du bekväm att arbeta borta från ”spotlighten”?

Svar: Din anställningschef vill veta om du älskar rampljus eller om du kan arbeta bra i båda situationerna. Ditt svar ska berätta för dem att även om du gillar rampljuset är du bekväm att arbeta i bakgrunden också.

”Det som betyder något för mig är att jag ska vara expert inom mitt område och bidra till mitt företags tillväxt. Om jag måste arbeta i rampljuset är jag bekväm att göra det också. Om det finns en fråga som chefer behöver ta itu med, kommer jag inte att tveka att höja min röst och föra den till deras uppmärksamhet. ”

F # 26) Vad händer när Block-skannern upptäcker ett korrupt datablock?

Svar: Först och främst rapporterar DataNode till NameNode. Sedan börjar NameNode skapa en ny replika genom repliken för det korrupta blocket. Korrupt datablock raderas inte om replikeringsantalet för de rätta replikerna matchar replikationsfaktorn.

F # 27) Har du någonsin hittat en ny innovativ användning för redan existerande data? Påverkade det företaget positivt?

Svar: Den här frågan är avsedd för dem att ta reda på om du är självmotiverad och ivrig nog att bidra till framgången för projekten. Om möjligt, svara på frågan med ett exempel där du tog ansvaret för ett projekt eller kom med en idé. Och om du någonsin presenterat en ny lösning på ett problem, missa inte det heller.

Exempel på svar: ”I mitt senaste jobb deltog jag i att ta reda på varför vi har en hög personalomsättning. Jag observerade uppgifterna noggrant från olika avdelningar där jag hittade mycket korrelerade data inom viktiga områden som ekonomi, marknadsföring, verksamhet etc. och andelen personalomsättning.

Samarbetade med avdelningsanalytikerna för en bättre förståelse av dessa samband. Med vår förståelse gjorde vi några strategiska förändringar som påverkade personalomsättningshastigheten positivt. ”

F # 28) Vilka icke-tekniska färdigheter tycker du är mest användbara som dataingenjör?

Svar: Försök att undvika de mest uppenbara svaren som att kommunicera eller interpersonell. Du kan säga, ”prioritering och multitasking har ofta varit till nytta i mitt jobb. Vi får olika uppgifter på en dag eftersom vi arbetar med olika avdelningar. Och därför blir det viktigt att vi prioriterar dem. Det gör vårt arbete enkelt och hjälper oss att effektivt avsluta dem alla. ”

F # 29) Vilka är några vanliga problem som du har ställts inför som dataingenjör?

Svar: Dessa är:

• Kontinuerlig och realtidsintegration.
• Lagring av stora mängder data och information från dessa data.
• Begränsningar av resurser.
• Med tanke på vilka verktyg som ska användas och vilka som kan ge bästa resultat.

Slutsats

Datateknik kan låta som ett rutinmässigt tråkigt jobb, men det finns många intressanta aspekter. Det framgår av de möjliga scenariofrågor som intervjuare kan ställa. Du bör vara redo att svara på inte bara tekniska bokfrågor utan också situationella frågor som de ovan nämnda. Först då kommer du att kunna bevisa att du kan göra ditt jobb bra och förtjänar det.

Med vänliga hälsningar!!

Rekommenderad läsning

• Intervjufrågor och svar
• ETL Testing Intervju Frågor och svar
• Topp 32 bästa datastationsintervjuer och frågor
• De bästa JSON-intervjufrågorna och -svaren
• Top Teradata Intervju Frågor och svar
• De 24 viktigaste intervjufrågorna för datamodellering med detaljerade svar
• Topp 50+ databasintervjufrågor och svar
• Topp 30 SAS intervjufrågor och svar