Qual è la differenza tra HDFS e MapReduce
Share
Il differenza principale tra HDFS e MapReduce è quello HDFS è un file system distribuito che fornisce un accesso ad alta velocità ai dati delle applicazioni mentre MapReduce è un framework software che elabora in modo affidabile i big data su cluster di grandi dimensioni.
I big data sono una raccolta di un grande set di dati. Ha tre proprietà principali: volume, velocità e varietà. Hadoop è un software che consente di archiviare e gestire i big data. È un framework open source scritto in Java. Inoltre, supporta l'elaborazione distribuita di grandi set di dati attraverso cluster di computer. HDFS e MapReduce sono due moduli nell'architettura Hadoop.
Aree chiave coperte
1. Cos'è HDFS
- Definizione, Funzionalità
2. Cos'è MapReduce
- Definizione, Funzionalità
3. Qual è la differenza tra HDFS e MapReduce
- Confronto tra le principali differenze
Parole chiave
Big Data, HDFS, MapReduce
Cos'è HDFS
HDFS rappresenta Hadoop Distributed File System. È un file system distribuito di Hadoop che può essere eseguito su cluster di grandi dimensioni in modo affidabile ed efficiente. Inoltre, si basa su Google File System (GFS). Inoltre, ha anche una lista di comandi per interagire con il file system.
Inoltre, l'HDFS funziona secondo l'architettura master e slave. Il nodo principale o il nodo nome gestisce i metadati del file system mentre i nodi slave o le note di dati memorizzano i dati effettivi.
Figura 1: Architettura HDFS
Inoltre, un file in uno spazio dei nomi HDFS è diviso in diversi blocchi. I nodi dati memorizzano questi blocchi. E il nodo del nome mappa i blocchi ai nodi dati, che gestiscono le operazioni di lettura e scrittura con il file system. Inoltre, eseguono compiti come la creazione di blocchi, la cancellazione ecc. Come indicato dal nodo del nome.
Cos'è MapReduce
MapReduce è un framework software che consente di scrivere applicazioni per elaborare grandi quantità di dati contemporaneamente su grandi cluster di hardware di base. Questo framework è costituito da un singolo track tracker principale e un tracker attività slave per nodo del cluster. Il master esegue la gestione delle risorse, pianifica i lavori su slave, monitorando e rieseguendo le attività fallite. D'altra parte, il task tracker slave esegue le attività istruite dal master e invia costantemente le informazioni sullo stato delle attività al mater.
Figura 2: panoramica di MapReduce
Inoltre, ci sono due attività associate a MapReduce. Sono l'attività della mappa e l'attività di riduzione. L'attività mappa prende i dati di input e li divide in tuple di coppie chiave, mentre l'attività Riduci prende l'output da un'attività mappa come input e connette quelle tuple di dati in tuple più piccole. Inoltre, l'attività della mappa viene eseguita prima dell'attività di riduzione.
Differenza tra HDFS e MapReduce
Definizione
HDFS è un file system distribuito che archivia in modo affidabile file di grandi dimensioni su macchine in un cluster di grandi dimensioni. Al contrario, MapReduce è una struttura software per la semplice scrittura di applicazioni che elaborano grandi quantità di dati in parallelo su grandi cluster di hardware di base in un modo affidabile, fault-tolerant. Queste definizioni spiegano la principale differenza tra HDFS e MapReduce.
Funzionalità principale
Un'altra differenza tra HDFS e MapReduce è che HDFS fornisce accesso ad alte prestazioni ai dati attraverso cluster Hadoop altamente scalabili mentre MapReduce esegue l'elaborazione di big data.
Conclusione
In breve, HDFS e MapReduce sono due moduli nell'architettura Hadoop. La principale differenza tra HDFS e MapReduce è che HDFS è un file system distribuito che fornisce un accesso ad alta velocità ai dati delle applicazioni mentre MapReduce è un framework software che elabora in modo affidabile i big data su cluster di grandi dimensioni.
Riferimento:
1. "Guida all'architettura HDFS", Apache Hadoop, disponibile qui.
2. "Esercitazione MapReduce", Apache Hadoop, disponibile qui.
3. "Che cos'è Hadoop Distributed File System (HDFS)? - Definizione da WhatIs.com. "SearchDataManagement, disponibile qui.
Cortesia dell'immagine:
1. "Hdfsarchitecture" di Magnai17 - Opera propria (CC BY-SA 4.0) via Commons Wikimedia
2. "Panoramica di Mapreduce" di Poposhka - SVG-Edit (CC BY-SA 3.0) via Commons Wikimedia
