Apache Hive

Apache Hive αναπτύχθηκε αρχικά ως Apache Hadoop υποέργου για την παροχή διαχειριστές Hadoop με ένα εύκολο στη χρήση, καλά γλώσσα επερωτήσεων για τα δεδομένα τους.
Εξαιτίας αυτού, Κυψέλη αναπτύχθηκε από την αρχή να συνεργαστεί με τεράστιες ποσότητες πληροφοριών για κάθε ερώτημα και είναι απόλυτα προσαρμοσμένη βάσεις δεδομένων μεγάλης κλίμακας και του επιχειρηματικού περιβάλλοντος.
Τα εργαλεία που περιλαμβάνονται για εύκολη φόρτωση, την εξόρυξη και την μετατροπή των δεδομένων, ενώ δομές έθιμο δεδομένα μπορεί να επιβληθεί ένα ευρύ σύνολο μορφών δεδομένων.
Δεδομένου ότι είναι ένα Hadoop που σχετίζονται με το έργο ΚΑΕ και HBase τα έργα που υποστηρίζονται επίσης αυτόματα.
HiveQL είναι ίσως το καλύτερο μέρος του έργου, παρέχοντας ένα απλό, καινοτόμο και αποτελεσματικό γλώσσα επερωτήσεων, ενώ επίσης είναι σε θέση να χειριστεί χαρτογράφους και μειωτήρες σε περιπτώσεις όπου η μητρική σύνταξη SQL δεν μπορεί να πάρει το επιθυμητό δεδομένων.

Τι είναι καινούργιο σε αυτή την έκδοση:

• Υποστήριξη ασυσχέτιστες υποερωτήματα στον όρο WHERE
• Προσθήκη NULL ορισμένη ώστε να Row προδιαγραφή της μορφής
• βάση δεδομένων Ccreate / σταγόνα θα συμπληρώσετε εισόδους / εξόδους και να ελέγξει ταυτοχρονισμού και την άδεια του χρήστη
• κλίμακα που καθορίζει υποστήριξης και την ακρίβεια με την κυψέλη δεκαδικά τύπου
• Γενηθήτω Tez
• Η εκραγεί λειτουργία που περιλαμβάνει τη θέση του στοιχείου του πίνακα
• Προσθήκη char τύπος δεδομένων
• Δημιουργία συλλογή UDF και να αξιολογητής επαναχρησιμοποιήσιμα
• Επέκταση διεπαφές ρεκόρ συγγραφέας και ORC συσκευή ανάγνωσης / εγγραφής για την παροχή στατιστικών
• Εφαρμογή στατιστικές για την παροχή ORC συγγραφέα και αναγνώστη διεπαφές
• Σχολιασμός κυψέλη δέντρο φορέα με στατιστικά στοιχεία από metastore
• Παροχή επίπεδο λωρίδα στατιστικές στήλη ORC
• subquery υποστήριξη: απαγορεύσει ωοτοκίας της υποερωτήματα
• subquery υποστήριξη: επιτρέπει εκφράσεις δευτερεύον ερώτημα που έχει στη ρήτρα
• subquery υποστήριξη: περισσότερες δοκιμές
• Native παρκέ Υποστήριξη στην κυψέλη
• Hive θα πρέπει να είναι σε θέση να παρακάμψετε γραμμές κεφαλίδων και υποσέλιδων κατά την ανάγνωση του αρχείου δεδομένων για έναν πίνακα
• Προσθέστε ημερομηνία, TIMESTAMP, DECIMAL, ΧΑΡ, VARCHAR τύποι στηρίξει HCat
• Χρήση χάρτη-join υπαινιγμό για την προσωρινή αποθήκευση ενδιάμεσο αποτέλεσμα
• Προσθήκη UDF να υπολογίσει απόσταση μεταξύ γεωγραφικές συντεταγμένες

Τι είναι καινούργιο στην έκδοση 1.2.0:

• Υποστήριξη ασυσχέτιστες υποερωτήματα στον όρο WHERE
• Προσθήκη NULL ορισμένη ώστε να Row προδιαγραφή της μορφής
• βάση δεδομένων Ccreate / σταγόνα θα συμπληρώσετε εισόδους / εξόδους και να ελέγξει ταυτοχρονισμού και την άδεια του χρήστη
• κλίμακα που καθορίζει υποστήριξης και την ακρίβεια με την κυψέλη δεκαδικά τύπου
• Γενηθήτω Tez
• Η εκραγεί λειτουργία που περιλαμβάνει τη θέση του στοιχείου του πίνακα
• Προσθήκη char τύπος δεδομένων
• Δημιουργία συλλογή UDF και να αξιολογητής επαναχρησιμοποιήσιμα
• Επέκταση διεπαφές ρεκόρ συγγραφέας και ORC συσκευή ανάγνωσης / εγγραφής για την παροχή στατιστικών
• Εφαρμογή στατιστικές για την παροχή ORC συγγραφέα και αναγνώστη διεπαφές
• Σχολιασμός κυψέλη δέντρο φορέα με στατιστικά στοιχεία από metastore
• Παροχή επίπεδο λωρίδα στατιστικές στήλη ORC
• subquery υποστήριξη: απαγορεύσει ωοτοκίας της υποερωτήματα
• subquery υποστήριξη: επιτρέπει εκφράσεις δευτερεύον ερώτημα που έχει στη ρήτρα
• subquery υποστήριξη: περισσότερες δοκιμές
• Native παρκέ Υποστήριξη στην κυψέλη
• Hive θα πρέπει να είναι σε θέση να παρακάμψετε γραμμές κεφαλίδων και υποσέλιδων κατά την ανάγνωση του αρχείου δεδομένων για έναν πίνακα
• Προσθέστε ημερομηνία, TIMESTAMP, DECIMAL, ΧΑΡ, VARCHAR τύποι στηρίξει HCat
• Χρήση χάρτη-join υπαινιγμό για την προσωρινή αποθήκευση ενδιάμεσο αποτέλεσμα
• Προσθήκη UDF να υπολογίσει απόσταση μεταξύ γεωγραφικές συντεταγμένες

Τι είναι καινούργιο στην έκδοση 1.1.0:

• Υποστήριξη ασυσχέτιστες υποερωτήματα στον όρο WHERE
• Προσθήκη NULL ορισμένη ώστε να Row προδιαγραφή της μορφής
• βάση δεδομένων Ccreate / σταγόνα θα συμπληρώσετε εισόδους / εξόδους και να ελέγξει ταυτοχρονισμού και την άδεια του χρήστη
• κλίμακα που καθορίζει υποστήριξης και την ακρίβεια με την κυψέλη δεκαδικά τύπου
• Γενηθήτω Tez
• Η εκραγεί λειτουργία που περιλαμβάνει τη θέση του στοιχείου του πίνακα
• Προσθήκη char τύπος δεδομένων
• Δημιουργία συλλογή UDF και να αξιολογητής επαναχρησιμοποιήσιμα
• Επέκταση διεπαφές ρεκόρ συγγραφέας και ORC συσκευή ανάγνωσης / εγγραφής για την παροχή στατιστικών
• Εφαρμογή στατιστικές για την παροχή ORC συγγραφέα και αναγνώστη διεπαφές
• Σχολιασμός κυψέλη δέντρο φορέα με στατιστικά στοιχεία από metastore
• Παροχή επίπεδο λωρίδα στατιστικές στήλη ORC
• subquery υποστήριξη: απαγορεύσει ωοτοκίας της υποερωτήματα
• subquery υποστήριξη: επιτρέπει εκφράσεις δευτερεύον ερώτημα που έχει στη ρήτρα
• subquery υποστήριξη: περισσότερες δοκιμές
• Native παρκέ Υποστήριξη στην κυψέλη
• Hive θα πρέπει να είναι σε θέση να παρακάμψετε γραμμές κεφαλίδων και υποσέλιδων κατά την ανάγνωση του αρχείου δεδομένων για έναν πίνακα
• Προσθέστε ημερομηνία, TIMESTAMP, DECIMAL, ΧΑΡ, VARCHAR τύποι στηρίξει HCat
• Χρήση χάρτη-join υπαινιγμό για την προσωρινή αποθήκευση ενδιάμεσο αποτέλεσμα
• Προσθήκη UDF να υπολογίσει απόσταση μεταξύ γεωγραφικές συντεταγμένες

Τι είναι καινούργιο στην έκδοση 1.0.0:

• Υποστήριξη ασυσχέτιστες υποερωτήματα στον όρο WHERE
• Προσθήκη NULL ορισμένη ώστε να Row προδιαγραφή της μορφής
• βάση δεδομένων Ccreate / σταγόνα θα συμπληρώσετε εισόδους / εξόδους και να ελέγξει ταυτοχρονισμού και την άδεια του χρήστη
• κλίμακα που καθορίζει υποστήριξης και την ακρίβεια με την κυψέλη δεκαδικά τύπου
• Γενηθήτω Tez
• Η εκραγεί λειτουργία που περιλαμβάνει τη θέση του στοιχείου του πίνακα
• Προσθήκη char τύπος δεδομένων
• Δημιουργία συλλογή UDF και να αξιολογητής επαναχρησιμοποιήσιμα
• Επέκταση διεπαφές ρεκόρ συγγραφέας και ORC συσκευή ανάγνωσης / εγγραφής για την παροχή στατιστικών
• Εφαρμογή στατιστικές για την παροχή ORC συγγραφέα και αναγνώστη διεπαφές
• Σχολιασμός κυψέλη δέντρο φορέα με στατιστικά στοιχεία από metastore
• Παροχή επίπεδο λωρίδα στατιστικές στήλη ORC
• subquery υποστήριξη: απαγορεύσει ωοτοκίας της υποερωτήματα
• subquery υποστήριξη: επιτρέπει εκφράσεις δευτερεύον ερώτημα που έχει στη ρήτρα
• subquery υποστήριξη: περισσότερες δοκιμές
• Native παρκέ Υποστήριξη στην κυψέλη
• Hive θα πρέπει να είναι σε θέση να παρακάμψετε γραμμές κεφαλίδων και υποσέλιδων κατά την ανάγνωση του αρχείου δεδομένων για έναν πίνακα
• Προσθέστε ημερομηνία, TIMESTAMP, DECIMAL, ΧΑΡ, VARCHAR τύποι στηρίξει HCat
• Χρήση χάρτη-join υπαινιγμό για την προσωρινή αποθήκευση ενδιάμεσο αποτέλεσμα
• Προσθήκη UDF να υπολογίσει απόσταση μεταξύ γεωγραφικές συντεταγμένες

Τι είναι καινούργιο στην έκδοση 0.8.1:

• Εργαλεία για να επιτρέπουν την εύκολη απόσπασμα δεδομένων / μεταμορφώσει / φορτίου (ETL).
• Ένας μηχανισμός για την επιβολή δομή σε μια ποικιλία μορφών δεδομένων.
• Η πρόσβαση σε αρχεία που είναι αποθηκευμένα είτε άμεσα σε Apache ΚΑΕ (TM) ή σε άλλα συστήματα αποθήκευσης δεδομένων, όπως Apache HBase (TM).
• εκτέλεση ερωτήματος μέσω MapReduce.

Τι είναι καινούργιο στην έκδοση 0.8.0:

• Εργαλεία για να επιτρέπουν την εύκολη απόσπασμα δεδομένων / μεταμορφώσει / φορτίου (ETL)
• Ένας μηχανισμός για την επιβολή δομή σε μια ποικιλία μορφών δεδομένων
• Η πρόσβαση σε αρχεία που είναι αποθηκευμένα είτε άμεσα σε Apache ΚΑΕ (TM) ή σε άλλα συστήματα αποθήκευσης δεδομένων, όπως Apache HBase (TM)
• εκτέλεση ερωτήματος μέσω MapReduce

Τι είναι καινούργιο στην έκδοση 0.7.1:

• Bugs:
• Εξαίρεση για τα παράθυρα όταν χρησιμοποιείτε το πρόγραμμα οδήγησης JDBC. & quot? IOException:. Το σύστημα δεν μπορεί να εντοπίσει την καθορισμένη διαδρομή & quot?
• σενάρια δημιουργία σχήματος είναι ελλιπής, δεδομένου ότι παραλείπουν πίνακες που είναι ειδικά για DataNucleus.
• Βελτιώσεις:
• Βελτίωση διάφορα μηνύματα λάθους.
• Επιστροφή στην διόρθωση των κυριοτέρων / Μικρά αριθμούς έκδοσης για JDBC Driver κυψέλη.
• Προσθέστε την υλοποίηση HivePreparedStatement βασίζεται στην τρέχουσα ομάδα υποστηρίζεται τύπου δεδομένων.
• Εργασίες:
• Hive στο Maven.
• Δώστε Metastore αναβάθμιση σενάρια και σχήματα προεπιλογή για την PostgreSQL.

Τι είναι καινούργιο στην έκδοση 0.7.0:

• Νέο χαρακτηριστικό:
• υποδομής Εξουσιοδότηση για Hive
• Εφαρμογή Ευρετηρίαση στην κυψέλη
• Προσθήκη αντανακλούν () UDF για ανακλαστικές επίκληση των μεθόδων Java
• Κυψέλη TypeInfo / ObjectInspector για τη στήριξη της Ένωσης (εκτός struct, array, και χάρτη)
• Εφαρμογή GenericUDF str_to_map
• Patch για την υποστήριξη ΕΧΟΝΤΑΣ ρήτρα στην κυψέλη
• Παρακολούθηση οι αρμοί που μετατράπηκαν σε χάρτη-εντάσσονται αυτομάτως
• Κλήση συχνότητα και τη διάρκεια μετρήσεις για HiveMetaStore μέσω JMX
• Διατηρήστε lastAccessTime στην metastore
• Βελτίωση:
• Παρέχετε την επιλογή να εξάγετε μια επικεφαλίδα
• Υποστήριξη για την ξεχωριστή επιλογή σε δύο ή περισσότερες στήλες
• Περιγράψτε όλο εκροών / διαμέρισμα είναι αινιγματικές
• Λείπουν κάποιες λειτουργίες JDBC όπως getTables, getColumns και HiveResultSet.get * μέθοδοι που βασίζονται στο όνομα της στήλης.
• Αγγίζοντας τα αρχεία καταγραφής από τις διαδικασίες του παιδιού
• Υποστήριξη pushdown φίλτρο κατά των μη ιθαγενών πίνακες
• Αντικατάσταση εξαρτήσεων από HBase αποδοκιμαστεί API
• Προσθήκη queryid ενώ το κλείδωμα
• Ενημέρωση transident_lastDdlTime μόνο αν δεν προσδιορίζεται
• Προσθέστε περισσότερες πληροφορίες αποσφαλμάτωσης για κυψέλη κλείδωμα
• HiveInputFormat ή CombineHiveInputFormat πάντα συγχρονισμό μπλοκ RCFile δύο φορές
• Δείτε τη φορά η τοπική εργασία διαρκεί
• Δημιουργήστε ένα νέο παράδειγμα zookeeper όταν κλειδαριά επόμενη προσπάθεια, και περισσότερες πληροφορίες για τον εντοπισμό σφαλμάτων
• Προσθέστε μια επιλογή για να τρέξει καθήκον να ελέγχουν χάρτη προσχώρησή δυνατότητα σε μη-τοπική λειτουργία
• Περισσότερα εντοπισμού σφαλμάτων για το κλείδωμα
• Προσθέστε μια επιλογή στο δυναμικό ένθετα διαμέρισμα για να ρίξει ένα σφάλμα αν δημιουργηθούν 0 κατατμήσεις
• Bugs:
• & quot? δεδομένα φορτίου ΤΟΠΙΚΗ INPATH & quot? αποτυγχάνει όταν ο πίνακας περιέχει ήδη ένα αρχείο με το ίδιο όνομα
• NULL δεν χειρίζεται σωστά Εγγραφή
• HiveInputFormat.getInputFormatFromCache & quot? χελιδόνια & quot? αιτία εξαίρεση όταν ρίχνουν IOExcpetion
• Προσθήκη πρόοδο στην ένταξη και groupby
• Απλή UDAFs με περισσότερους από 1 συντριβή παράμετρος στην κενή σειρά ερωτημάτων
• πεδίου UDF () δεν λειτουργεί
• Δυναμική ένθετα διαμέρισμα έμειναν κενά ακάθαρτα αρχεία σε Hadoop 0.17 τοπική λειτουργία
• Μετάβαση σε αντίθεση ενημερωμένη έκδοση, όταν RunningJob.getCounters () επιστρέφει null

Τι είναι καινούργιο στην έκδοση 0.5.0:.

• Να καθορίσετε χρήστη serde για προσαρμοσμένα σενάρια
• Προσθήκη UDF unhex.
• Κατάργηση LZOcodec εισαγωγής από FileSinkOperator.
• NullPointerException οδηγού όταν καλείτε getResults χωρίς μεταγλώττιση.
• Η βελτίωση της επίδοσης για RCFile και ColumnarSerDe στην κυψέλη.