Apache Spark

Apache Spark σχεδιάστηκε για να βελτιώσει την ταχύτητα επεξεργασίας για τα προγράμματα ανάλυσης και διαχείρισης δεδομένων.

Ήταν γραμμένο σε Java και τη Σκάλα και προσφέρει χαρακτηριστικά που δεν υπάρχουν σε άλλα συστήματα, κυρίως επειδή δεν είναι επικρατούσα τάση, ούτε ότι χρήσιμο για τη διεκπεραίωση των αιτήσεων μη δεδομένων.

Spark δημιουργήθηκε για πρώτη φορά στο UC Berkeley AMP Lab και αργότερα δώρισε στο Ίδρυμα Λογισμικού Apache

Τι είναι καινούργιο σε αυτή την έκδοση:.

• Unified Διαχείριση μνήμης -. Κοινόχρηστη μνήμη για την εκτέλεση και την προσωρινή αποθήκευση, αντί της αποκλειστικής κατανομής των περιοχών
• Παρκέ Απόδοση - Βελτίωση παρκέ απόδοση σάρωσης όταν χρησιμοποιούν επίπεδες σχήματα
.
• Βελτιωμένη ερώτημα για το σχεδιασμό για τα ερωτήματα που έχουν διακριτές ομαδοποιήσεις -. Σχέδια Ερώτημα διακριτών συναθροίσεων είναι πιο ισχυρή όταν ξεχωριστές στήλες έχουν υψηλή πληθικότητας
• Adaptive εκτέλεσης του ερωτήματος -. Η αρχική υποστήριξη για την αυτόματη επιλογή του αριθμού των μειωτήρες για ενώνει και συναθροίσεων
• Αποφυγή διπλής φίλτρα API Πηγή Δεδομένων -. Κατά την εφαρμογή μια πηγή δεδομένων με pushdown φίλτρο, οι προγραμματιστές μπορούν τώρα να πω Spark SQL για να αποφευχθεί η διπλή αξιολόγηση ενός έσπρωξε προς τα κάτω φίλτρο
• Fast null-ασφαλή ενώνει - ενώνει τη χρήση null-ασφαλή ισότητας (& # X3C? = & # X3e?) Θα εκτελέσει τώρα χρησιμοποιώντας SortMergeJoin αντί για τον υπολογισμό ενός cartisian προϊόν
.
• Στην μνήμη Σωληνωτοί Cache απόδοσης - Σημαντική (έως 14x) επιταχυνθεί όταν προσωρινή αποθήκευση δεδομένων που περιέχει σύνθετους τύπους σε DataFrames ή SQL
.
• SQL Εκτέλεση Χρησιμοποιώντας Off-Heap Μνήμη - Υποστήριξη για τη ρύθμιση της εκτέλεσης του ερωτήματος να συμβεί με τη χρήση μνήμης εκτός σωρού για να αποφευχθεί γενικά GC

Τι είναι καινούργιο στην έκδοση 1.5.2:

• Ο πυρήνας API τώρα υποστηρίζει δέντρα συνάθροισης πολλαπλών επιπέδων για να συμβάλει στην επιτάχυνση ακριβό μειώσει επιχειρήσεις.
• Βελτιωμένη αναφορά σφάλματος έχει προστεθεί για ορισμένες πέτυχα επιχειρήσεις.

Jetty εξάρτηση
• Το Spark είναι τώρα σκιάζεται για να βοηθήσει στην αποφυγή συγκρούσεων με τα προγράμματα του χρήστη.
• Spark τώρα υποστηρίζει κρυπτογράφηση SSL για ορισμένες παραμέτρους επικοινωνίας.
• μετρήσεις σε πραγματικό χρόνο GC και μετράει ρεκόρ έχουν προστεθεί στο UI.

Τι είναι καινούργιο στην έκδοση 1.4.0:

• Ο πυρήνας API τώρα υποστηρίζει δέντρα συνάθροισης πολλαπλών επιπέδων για να συμβάλει στην επιτάχυνση ακριβό μειώσει επιχειρήσεις.
• Βελτιωμένη αναφορά σφάλματος έχει προστεθεί για ορισμένες πέτυχα επιχειρήσεις.

Jetty εξάρτηση
• Το Spark είναι τώρα σκιάζεται για να βοηθήσει στην αποφυγή συγκρούσεων με τα προγράμματα του χρήστη.
• Spark τώρα υποστηρίζει κρυπτογράφηση SSL για ορισμένες παραμέτρους επικοινωνίας.
• μετρήσεις σε πραγματικό χρόνο GC και μετράει ρεκόρ έχουν προστεθεί στο UI.

Τι είναι καινούργιο στην έκδοση 1.2.0:

• χειριστή είδος PySpark υποστηρίζει τώρα την εξωτερική διαρροή για μεγάλα σύνολα δεδομένων .
• PySpark τώρα υποστηρίζει μεταβλητές εκπομπή μεγαλύτερα από 2GB και εκτελεί εξωτερική διαρροή κατά τη διάρκεια των ειδών.
• Spark προσθέτει μια σελίδα εργασίας σε επίπεδο προόδου στο UI Spark, ένα σταθερό API για την υποβολή εκθέσεων προόδου, και δυναμική ενημέρωση των μετρήσεων εξόδου ως θέσεις εργασίας πλήρεις.
• Spark έχει τώρα υποστήριξη για την ανάγνωση δυαδικών αρχείων για εικόνες και άλλα αρχεία σε δυαδική μορφή.

Τι είναι καινούργιο στην έκδοση 1.0.0:

• Η έκδοση αυτή επεκτείνεται πρότυπο βιβλιοθήκες του Spark, την εισαγωγή ενός νέου πακέτο SQL (SQL Spark) που επιτρέπει στους χρήστες να ενσωματώσουν τα ερωτήματα SQL σε υπάρχουσες ροές εργασιών Spark.
• MLlib, βιβλιοθήκη μηχανικής μάθησης του Spark, έχει επεκταθεί με αραιή υποστήριξη φορέα και αρκετές νέες αλγορίθμων.

Τι είναι καινούργιο στην έκδοση 0.9.1:

• Διορθώθηκε το bug hash σύγκρουση στην εξωτερική διαρροή
• Σταθερή σύγκρουση με log4j Spark για τους χρήστες στηρίζονται σε άλλα συστήματα υποστήριξης καταγραφής
• Σταθερή Graphx λείπει από το βάζο συναρμολόγηση Spark στην maven χτίζει
• Σταθερή σιωπηλή αποτυχίες οφείλονται σε χάρτη κατάσταση εξόδου άνω μέγεθος του πλαισίου Akka
• περιττές άμεση εξάρτηση Αφαιρέθηκε Spark για ASM
• Αφαιρέθηκε μετρήσεις-γάγγλια από προεπιλογή κατασκευής λόγω των συγκρούσεων άδεια LGPL
• Διορθώθηκε το bug στο tarball διανομής δεν περιέχει βάζο διάταξη σπινθήρα

Τι είναι καινούργιο στην έκδοση 0.8.0:

• Ανάπτυξης έχει κινηθεί προς το Ίδρυμα Apache Sowftware ως έργο θερμοκοιτίδα.

Τι είναι καινούργιο στην έκδοση 0.7.3:

• Python απόδοση: μηχανισμός Spark για ωοτοκία Python ΚΟ έχει έχουν βελτιωθεί για να κάνει έτσι πιο γρήγορα όταν το JVM έχει μεγάλο μέγεθος σωρού, επιταχύνοντας την Python API.
• Mesos διορθώνει: τα JAR προστίθεται στην εργασία σας θα είναι τώρα στο classpath όταν deserializing αποτελέσματα εργασιών στο Mesos
.
• Σφάλμα αναφοράς:. Καλύτερη αναφορά σφάλματος για μη σειριοποιήσιμο εξαιρέσεις και υπερβολικά μεγάλα αποτελέσματα εργασιών
• Παραδείγματα:. Προστέθηκε ένα παράδειγμα stateful επεξεργασίας ρεύματος με updateStateByKey
• Σώμα:. Spark ροής δεν είναι πλέον εξαρτάται από το repo Twitter4J, η οποία θα πρέπει να επιτρέψει να οικοδομήσουμε στην Κίνα
• Διορθώσεις σφαλμάτων στην foldByKey, streaming καταμέτρηση, στατιστικά μεθόδους, τεκμηρίωση, και web UI.

Τι είναι καινούργιο στην έκδοση 0.7.2:.

• Σκάλα ενημερώθηκε για την 2.9.3
• Αρκετές βελτιώσεις Bagel, συμπεριλαμβανομένων διορθώσεις επιδόσεις και ένα ρυθμιζόμενο επίπεδο αποθήκευσης.
• Νέες μέθοδοι API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, και άλλα
• Ένα νέο μετρήσεις αναφοράς διασύνδεσης, SparkListener, να συλλέγουν πληροφορίες για κάθε στάδιο υπολογισμού:. Μήκη έργο, bytes ανακατεύονται, κλπ
• Πολλά νέα παραδείγματα που χρησιμοποιούν το API της Java, συμπεριλαμβανομένων των Κ-μέσων και υπολογιστών π.

Τι είναι καινούργιο στην έκδοση 0.7.0:

• Spark 0.7 προσθέτει ένα API Python που ονομάζεται PySpark <. / li>
• Spark εργασίες ξεκινήσει τώρα μια web ταμπλό για την παρακολούθηση της χρήσης της μνήμης του κάθε διανέμονται σύνολο δεδομένων (ΕΑΕ) στο πλαίσιο του προγράμματος.
• Spark μπορούν τώρα να κατασκευαστούν χρησιμοποιώντας Maven εκτός από την SBT.

Τι είναι καινούργιο στην έκδοση 0.6.1:

• Σταθερή υπερβολικά επιθετική μήνυμα χρονικά όρια που θα μπορούσαν να προκαλέσουν οι εργαζόμενοι να αποσυνδεθείτε από το σύμπλεγμα.
• Διορθώθηκε ένα σφάλμα στη λειτουργία αυτόνομο Ανάπτυξη που δεν εκθέτουν hostnames στον προγραμματιστή, που επηρεάζουν ΚΑΕ περιοχή.
• Βελτιωμένη επαναχρησιμοποίηση σύνδεση σε τυχαία σειρά, η οποία μπορεί να επιταχύνει σημαντικά τις μικρές ανακατατάξεις.
• Σταθερά ορισμένα πιθανά αδιέξοδα στη διαχείριση μπλοκ.
• Διορθώθηκε ένα bug πάρει αναγνωριστικά των αποτυχημένων φιλοξενεί από Mesos.
• Αρκετές βελτιώσεις σενάριο EC2, όπως και καλύτερο χειρισμό των περιπτώσεων τόπου.
• Made η τοπική διεύθυνση IP που Spark συνδέεται με προσαρμόσιμη.
• Υποστήριξη για το Hadoop 2 διανομές.
• Υποστήριξη για τον εντοπισμό Scala στις διανομές Debian.

Τι είναι καινούργιο στην έκδοση 0.6.0:.

• Απλούστερη εγκατάσταση
• τεκμηρίωση του Spark έχει επεκταθεί με ένα νέο οδηγό γρήγορης εκκίνησης, πρόσθετες οδηγίες εγκατάστασης, οδηγό διαμόρφωσης, οδηγός ρύθμισης, και βελτιωμένη τεκμηρίωση Scaladoc API.
• Ένας νέος διευθυντής επικοινωνίας που χρησιμοποιούν ασύγχρονη Java NIO επιτρέπει λειτουργίες αναπαραγωγής με τυχαία σειρά τρέξει πιο γρήγορα, ειδικά κατά την αποστολή μεγάλων ποσοτήτων δεδομένων ή όταν οι θέσεις εργασίας έχουν πολλά καθήκοντα.
• Ένας νέος διευθυντής αποθήκευσης υποστηρίζει ανά σύνολο δεδομένων ρυθμίσεων επίπεδο αποθήκευσης (π.χ. αν πρέπει να κρατήσει το σύνολο δεδομένων στη μνήμη, αποσειριοποιημένου, στο δίσκο, κλπ, ή ακόμα και να αναπαραχθεί σε όλη κόμβους).
• Ενισχυμένη τον εντοπισμό σφαλμάτων.