Apache Crunch

Ένας αγωγός αποτελεί μία συνένωση των επιχειρήσεων για να εκτελέσει μια συγκεκριμένη εργασία, τοποθετημένα έτσι ώστε η έξοδος του κάθε στοιχείου είναι η είσοδος της επόμενης.
Apache Crunch παρέχει έναν ευκολότερο τρόπο αντιμετώπισης Apache Hadoop αγωγών MapReduce.
Crunch απλοποιεί τη διαδικασία αυτή με την παροχή ενός μεγάλου αριθμού έτοιμων μέθοδοι και λειτουργίες που μπορούν να χρησιμοποιηθούν για τη συναρμολόγηση και το χειρισμό τους αγωγούς MapReduce σε διάφορες μορφές.
Το έργο περιλαμβάνει μια εγγενή Java API, μαζί με μια Scala ένα (το όνομα Scrunch).
Υποστήριξη περιληφθεί επιπροσθέτως για το χειρισμό Avro αρχεία και HBase γραμμών και στηλών.