Apache Pig

Apache Χοιρινά έχει γεννήσει από τον Apache Hadoop του έργου και είναι μία από τις ενότητες του ότι, όταν αναλάβει την παροχή έναν τρόπο για να αναλύσει τα δεδομένα που υποβάλλονται σε επεξεργασία και αποθηκεύονται.
Χοιρινά χρησιμοποιεί μια γλώσσα προσαρμοσμένη ερώτημα που ονομάζεται «Pig Latin", το οποίο είναι εξαιρετικά εύκολο να μάθουν και να υποστηρίζει και τις δύο σχεσιακών και λειτουργικό στυλ.
Αυτό σημαίνει ότι μπορείτε να το χρησιμοποιήσετε ως μια κλασική γλώσσα SQL που επωφελούνται από τα δεδομένα που ενώνει και φίλτρα, ή μπορείτε να χρησιμοποιήσετε τις δυνατότητες του MapReduce, τα δεδομένα χαρτογράφους και μειωτήρες.
Από προεπιλογή Apache χοίρου προοριζόταν να χρησιμοποιηθεί στο εσωτερικό Hadoop εγκαταστάσεις, αλλά οι νεότερες εκδόσεις του επιτρέπουν να λειτουργεί ξεχωριστά μέσω ενός ξεχωριστού JVM

Τι είναι καινούργιο σε αυτή την έκδοση:.

• Pluggable μηχανές εκτέλεσης (να αφήνετε χοίρων στις μηχανές μη MapReduce στο μέλλον)
• Auto-τοπική λειτουργία (για θέσεις εργασίας με μικρό μέγεθος των δεδομένων εισόδου για να τρέξει στη διαδικασία)
• Λήψη βελτιστοποίησης (για τη βελτίωση της interactiveness γρύλισμα)
• Σταθερή μετρητές για τοπική λειτουργία
• Υποστήριξη για το επίπεδο χρήστη βάζο cache
• Υποστήριξη για την κατάρτιση μαύρης λίστας και λευκής λίστας εντολές χοίρων
• Αρκετές διορθώσεις απόδοση και τα χαρακτηριστικά debuggability
• Μερικά μη συμβατό τροποποιήσεις διεπαφή έχουν εισαχθεί σε αυτό το δελτίο για να κάνουν την εργασία χοίρων με κινητήρες μη MapReduce

Τι είναι καινούργιο στην έκδοση 0.14.0:

• Pluggable μηχανές εκτέλεσης (να αφήνετε χοίρων σε μη -mapreduce κινητήρες στο μέλλον)
• Auto-τοπική λειτουργία (για θέσεις εργασίας με μικρό μέγεθος των δεδομένων εισόδου για να τρέξει στη διαδικασία)
• Λήψη βελτιστοποίησης (για τη βελτίωση της interactiveness γρύλισμα)
• Σταθερή μετρητές για τοπική λειτουργία
• Υποστήριξη για το επίπεδο χρήστη βάζο cache
• Υποστήριξη για την κατάρτιση μαύρης λίστας και λευκής λίστας εντολές χοίρων
• Αρκετές διορθώσεις απόδοση και τα χαρακτηριστικά debuggability
• Μερικά μη συμβατό τροποποιήσεις διεπαφή έχουν εισαχθεί σε αυτό το δελτίο για να κάνουν την εργασία χοίρων με κινητήρες μη MapReduce

Τι είναι καινούργιο στην έκδοση 0.11.0:

• Αυτή η έκδοση περιλαμβάνει DateType τύπο δεδομένων, RANK, CUBE και Η Συνάθροιση φορείς, Groovy UDFS, προσαρμοσμένη εκτίμηση μειωτήρα, σχήμα που βασίζεται σε πλειάδες και HCatalog DDL ολοκλήρωσης.

Τι είναι καινούργιο στην έκδοση 0.9.1:.

• Αυτή η έκδοση λειτουργεί με Hadoop 0,20

Τι είναι καινούργιο στην έκδοση 0.6:

• Προστέθηκε Zebra ως ένα έργο συνεισφ. Δείτε http://wiki.apache.org/pig/zebra
• Προστέθηκε UDFContext, δίνει ΤΑΑ έναν τρόπο για να περάσει πληροφορίες από εμπρός προς τα πίσω άκρο και δίνει πρόσβαση σε UDFS JobConf στο backend.
• Προστέθηκε αριστερός εξωτερικός σύνδεσμος για επανάληψη κομματιού ενταχθούν.
• Προστέθηκε δυνατότητα να ορίσετε προτεραιότητα εργασία από Pig Latin.
• Ενισχυμένη multi-ερώτημα για να συνεργαστεί με ενώνει σε ορισμένες περιπτώσεις.
• επαναδιατυπώθηκε διαχείριση μνήμης για να μειώσει σημαντικά Εναέρια GC και έξω από τις αποτυχίες Heap.
• Προστέθηκε Στηλών interface για το ΤΑΑ.
• Πάνω από 100 διορθώσεις και βελτιώσεις.

Απαιτήσεις :

• Java 1.6.x ή νεότερη
• Apache Hadoop 0.20.x ή υψηλότερη