Apache Hadoop

Apache Hadoop αναπτύχθηκε αρχικά από το Yahoo και το έργο είναι ένας συνδυασμός μεταξύ των προηγούμενων Apache Hadoop Core και Apache Hadoop Κοινή repos.

Το έργο Hadoop έχει αποκτήσει μεγάλη φήμη χάρη στα εξαιρετικά αποτελέσματα της στην υλοποίηση ενός multi-server κατανεμημένο υπολογιστικό σύστημα για τη διαχείριση των τεράστιων ποσοτήτων δεδομένων.

Το ίδιο το έργο είναι στην πραγματικότητα κατασκευασμένα από τέσσερα μέρη. Το ένα είναι Hadoop Common, το λεγόμενο πυρήνα που επιτρέπει σε όλες τις άλλες μονάδες να εργαστούν, το δεύτερο είναι το δικό σύστημα αρχείων του - ΚΑΕ (Hadoop Distributed System File), το τρίτο είναι το Hadoop πλαίσιο προγραμματισμού ΝΗΜΑΤΑ, και, τέλος, υπάρχει το σύστημα Hadoop MapReduce για την υποστήριξη παράλληλων υπολογιστών.

Χρησιμοποιώντας αυτές του συστήματος πρωτοποριακή, η Apache έχει καταφέρει να δημιουργήσει πολλά άλλη πλευρά έργα, όπως:

- Apache Ambari

- Apache Avro

- Apache Κασσάνδρας

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Spark

- Apache Tez

- Apache Zookeeper

Όλα αυτά βασίζονται στην ισχυρή μηχανή επεξεργασίας δεδομένων Hadoop ή διανεμηθεί χαρακτηριστικά των υπολογιστών της, ενσωματώνοντας ένα από τα modules της σε πυρήνα τους ένα ή τον άλλο τρόπο.

Τι είναι καινούργιο σε αυτήν την έκδοση:

• Υποστήριξη για αρχειακή αποθήκευση
• διαφανή στοιχεία σε κρυπτογράφηση υπόλοιπο (β)
• Λειτουργικά ασφαλές DataNode χωρίς να απαιτείται πρόσβαση root
• Hot δίσκου swap: υποστήριξη προσθέσετε / αφαιρέσετε όγκους κόμβο δεδομένων χωρίς επανεκκίνηση του κόμβου δεδομένων (beta)
• υποστήριξη AES για την ταχύτερη κρυπτογράφηση σύρμα
• Υποστήριξη για μεγάλες υπηρεσίες λειτουργίας σε νήμα
• ετικέτες κόμβο υποστήριξης κατά τη διάρκεια του προγραμματισμού
• Υποστήριξη για το χρονικό διάστημα με βάση τις κρατήσεις των πόρων υπό την ιδιότητά Scheduler (β)
• Η παγκόσμια, κοινόχρηστη μνήμη cache για αντικείμενα εφαρμογής (β)
• Υποστήριξη λειτουργίας των εφαρμογών εγγενώς σε Λιμενεργάτη δοχεία (α)

Τι είναι καινούργιο στην έκδοση 2.7.1:

• Υποστήριξη για αρχειακή αποθήκευση
• διαφανή στοιχεία σε κρυπτογράφηση υπόλοιπο (β)
• Λειτουργικά ασφαλές DataNode χωρίς να απαιτείται πρόσβαση root
• Hot δίσκου swap: υποστήριξη προσθέσετε / αφαιρέσετε όγκους κόμβο δεδομένων χωρίς επανεκκίνηση του κόμβου δεδομένων (beta)
• υποστήριξη AES για την ταχύτερη κρυπτογράφηση σύρμα
• Υποστήριξη για μεγάλες υπηρεσίες λειτουργίας σε νήμα
• ετικέτες κόμβο υποστήριξης κατά τη διάρκεια του προγραμματισμού
• Υποστήριξη για το χρονικό διάστημα με βάση τις κρατήσεις των πόρων υπό την ιδιότητά Scheduler (β)
• Η παγκόσμια, κοινόχρηστη μνήμη cache για αντικείμενα εφαρμογής (β)
• Υποστήριξη λειτουργίας των εφαρμογών εγγενώς σε Λιμενεργάτη δοχεία (α)

Τι είναι καινούργιο στην έκδοση 2.7.0:

• Υποστήριξη για αρχειακή αποθήκευση
• διαφανή στοιχεία σε κρυπτογράφηση υπόλοιπο (β)
• Λειτουργικά ασφαλές DataNode χωρίς να απαιτείται πρόσβαση root
• Hot δίσκου swap: υποστήριξη προσθέσετε / αφαιρέσετε όγκους κόμβο δεδομένων χωρίς επανεκκίνηση του κόμβου δεδομένων (beta)
• υποστήριξη AES για την ταχύτερη κρυπτογράφηση σύρμα
• Υποστήριξη για μεγάλες υπηρεσίες λειτουργίας σε νήμα
• ετικέτες κόμβο υποστήριξης κατά τη διάρκεια του προγραμματισμού
• Υποστήριξη για το χρονικό διάστημα με βάση τις κρατήσεις των πόρων υπό την ιδιότητά Scheduler (β)
• Η παγκόσμια, κοινόχρηστη μνήμη cache για αντικείμενα εφαρμογής (β)
• Υποστήριξη λειτουργίας των εφαρμογών εγγενώς σε Λιμενεργάτη δοχεία (α)

Τι είναι καινούργιο στην έκδοση 2.6.0:

• Υποστήριξη για αρχειακή αποθήκευση
• διαφανή στοιχεία σε κρυπτογράφηση υπόλοιπο (β)
• Λειτουργικά ασφαλές DataNode χωρίς να απαιτείται πρόσβαση root
• Hot δίσκου swap: υποστήριξη προσθέσετε / αφαιρέσετε όγκους κόμβο δεδομένων χωρίς επανεκκίνηση του κόμβου δεδομένων (beta)
• υποστήριξη AES για την ταχύτερη κρυπτογράφηση σύρμα
• Υποστήριξη για μεγάλες υπηρεσίες λειτουργίας σε νήμα
• ετικέτες κόμβο υποστήριξης κατά τη διάρκεια του προγραμματισμού
• Υποστήριξη για το χρονικό διάστημα με βάση τις κρατήσεις των πόρων υπό την ιδιότητά Scheduler (β)
• Η παγκόσμια, κοινόχρηστη μνήμη cache για αντικείμενα εφαρμογής (β)
• Υποστήριξη λειτουργίας των εφαρμογών εγγενώς σε Λιμενεργάτη δοχεία (α)

Τι είναι καινούργιο στην έκδοση 2.5.0:.

• βελτιώσεις ταυτότητας όταν χρησιμοποιείτε ένα διακομιστή μεσολάβησης HTTP
• Ένα νέο Hadoop Metrics νεροχύτη που επιτρέπει το γράψιμο άμεσα με γραφίτη.
• Προδιαγραφές για Hadoop που υποστηρίζονται προσπάθεια σύστημα αρχείων.
• Υποστήριξη για το POSIX-style σύστημα αρχείων επεκτείνεται χαρακτηριστικά.
• OfflineImageViewer να αναζητήσετε μια fsimage μέσω του API WebHDFS.
• βελτιώσεις Supportability και διορθώσεις σφαλμάτων στην πύλη NFS.
• εκσυγχρονισμένο web περιβάλλον εργασίας χρήστη (HTML5 και Javascript) για την ΚΑΕ δαίμονες.
• υποστήριξη REST API του νήματος την υποβολή και τη δολοφονία εφαρμογές.
• ένταξης Kerberos για το κατάστημά χρονοδιάγραμμα του νήματος.

Τι είναι καινούργιο στην έκδοση 2.4.0:

• Υποστήριξη για λίστες ελέγχου πρόσβασης στην ΚΑΕ
• Εγγενής υποστήριξη για τροχαίο αναβαθμίσεις στην ΚΑΕ
• Χρήση του πρωτοκόλλου-προσκρουστήρες για την ΚΑΕ FSImage για την ομαλή λειτουργική αναβάθμιση
• Πλήρης υποστήριξη HTTPS στην ΚΑΕ
• Υποστήριξη για την αυτόματη ανακατεύθυνση του νήματος ResourceManager
• Βελτιωμένη υποστήριξη για τις νέες αιτήσεις για νήματα με την Ιστορία Application Server και Application Timeline διακομιστή
• Υποστήριξη για την ισχυρή SLAs σε νήμα CapacityScheduler μέσω προτίμησης

Τι είναι καινούργιο στην έκδοση 2.3.0:.

• Υποστήριξη για την ιεραρχία ετερογενείς Αποθήκευση σε ΚΑΕ
• Στην μνήμη cache για δεδομένα ΚΑΕ με την κεντρική διοίκηση και τη διαχείριση.
• Απλοποιημένη διανομή εκτελέσιμα MapReduce μέσω ΚΑΕ στην ΝΗΜΑΤΑ Distributed Cache.

Τι είναι καινούργιο στην έκδοση 2.2.0:

• Νήματα - Ένα σύστημα διαχείρισης των πόρων γενικής χρήσης για Hadoop να επιτρέψει MapReduce και άλλα άλλα πλαίσια και τις υπηρεσίες επεξεργασίας δεδομένων
• Υψηλή διαθεσιμότητα για το ΚΑΕ
• ΚΑΕ Ομοσπονδία
• ΚΑΕ Στιγμιότυπα
• NFSv3 πρόσβαση στα δεδομένα ΚΑΕ

Τι είναι καινούργιο στην έκδοση 2.1.0-beta:

• ΚΑΕ Στιγμιότυπα
• Υποστήριξη για το τρέξιμο Hadoop σε Microsoft Windows
• σταθεροποίηση ΝΗΜΑΤΑ API

Τι είναι καινούργιο στην έκδοση 2.0.3-α:

• QJM για ΚΑΕ ΗΑ για NameNode
• προγραμματισμό πολλαπλών πόρων (CPU και μνήμη) για τα νήματα
• ΝΗΜΑΤΑ ResourceManager Επανεκκίνηση
• Σημαντικές σταθερότητα σε κλίμακα για τα νήματα (πάνω από 30.000 κόμβους και 14 εκατομμύρια αιτήσεις μέχρι στιγμής, κατά τη στιγμή της απελευθέρωσης)

Τι είναι καινούργιο στην έκδοση 1.0.0:.

• Βελτίωση της ασφάλειας
• HBase (append / hsynch / hflush, και την ασφάλεια).
• webhdfs (με πλήρη υποστήριξη για την ασφάλεια).
• Απόδοση βελτιωμένη πρόσβαση σε τοπικά αρχεία για HBase.
• Άλλες βελτιώσεις στην απόδοση, διορθώσεις σφαλμάτων, και χαρακτηριστικά.

Τι είναι καινούργιο στην έκδοση 0.20.2:

• buffer αποστολής RPC διακομιστή διατηρεί το μέγεθος της μεγαλύτερης ανταπόκρισης ποτέ σταλεί.
• C ++ βιβλιοθήκες δεν βασίζονται σε Debian Lenny.
• Κάποια C ++ σενάρια δεν chmodded πριν μυρμήγκι εκτέλεσης.
• Streaming:. Διαδικασία που προβλέπεται μηνύματα κατάστασης αντικαθίστανται κάθε 10 seoncds
• IllegalArgumentException όταν CombineFileInputFormat χρησιμοποιείται ως InputFormat εργασίας.
• Πολλαπλές σφάλματα w / Hadoop αρχεία.
• Να επιτρέπεται η προσωρινή αποθήκευση των αρχείων περιπτώσεις να απενεργοποιηθεί σε βάση ανά περίπτωση.
• Λείπει συγχρονισμού για defaultResources στο Configuration.addResource.
• GzipCodec δεν θα πρέπει να αντιπροσωπεύουν BuiltInZlibInflater ως decompressorType.
• NameNode του HttpServer δεν μπορεί υπόσταση InetSocketAddress: IllegalArgumentException ρίχνεται
.
• HttpServer κοιμάται με αρνητικές τιμές.
• Namenode τρέχει από έξω από τη μνήμη λόγω διαρροής μνήμης στη IPC Server.
• IPC σφάλμα πελάτης μπορεί να προκαλέσει κλήση RPC κολλάει.
• αποτυγχάνουν στις δοκιμές εμποδίζει το υπόλοιπο των στόχων δοκιμής από την εκτέλεση.
• Οι δοκιμές Contrib αποτυχία Clover'ed χτίσει.
• Οι δοκιμές δεν εκτελούνται σε 0,20 κλάδο.
• TestStreamingStatus αποτυγχάνει σε 0,20 κλάδο.