Archives

All Posts Tagged Tag: ‘MapReduce’

Hadoop logo

Estrarre valori distinti (distinct) con Hadoop MapReduce

0

In questo breve articolo introduciamo un algoritmo per Hadoop Map/Reduce, per estrarre i valori distinti di un dataset. Iniziamo subito vedendo lo pseudocodice: def map(key, value): emit(value, null) def reduce(key, null[]): emit(key) Tutto abbastanza semplice: il mapper riceve in input dei dati, ed emette il valore su cui eseguire la distinct come nuova chiave. Come funziona In breve, Hadoop M/R è …

Read More