Apache Spark

Spark σχεδιάστηκε για να βελτιώσει την ταχύτητα επεξεργασίας για την ανάλυση των δεδομένων και των προγραμμάτων χειραγώγησης.
Ήταν γραμμένο σε Java και Σκάλας και παρέχει δυνατότητες που δεν υπάρχουν σε άλλα συστήματα, κυρίως επειδή δεν είναι επικρατούσα τάση, ούτε ότι χρήσιμο για εφαρμογές επεξεργασίας μη-δεδομένων.

Τι είναι καινούργιο σε αυτή την έκδοση:.

• Ο πυρήνας API υποστηρίζει τώρα τα δέντρα πολυεπίπεδη συνάθροιση να συμβάλει στην επιτάχυνση ακριβό να περιορίσουν τη λειτουργία

Έχει προστεθεί
• Βελτιωμένη αναφορά σφάλματος για ορισμένους gotcha επιχειρήσεις.

Jetty εξάρτησης
• Το Spark είναι τώρα σκιασμένο να συμβάλλει στην αποφυγή συγκρούσεων με τα προγράμματα χρήστη.
• Spark τώρα υποστηρίζει κρυπτογράφηση SSL για ορισμένες παραμέτρους επικοινωνίας.
• μετρήσεις σε πραγματικό χρόνο GC και Η ρεκόρ έχουν προστεθεί στο UI.

Τι είναι καινούργιο στην έκδοση 1.3.0:

• Ο πυρήνας API υποστηρίζει τώρα multi-level δέντρα συνάθροιση να συμβάλει στην επιτάχυνση ακριβό να περιορίσουν τη λειτουργία.

Έχει προστεθεί
• Βελτιωμένη αναφορά σφάλματος για ορισμένους gotcha επιχειρήσεις.

Jetty εξάρτησης
• Το Spark είναι τώρα σκιασμένο να συμβάλλει στην αποφυγή συγκρούσεων με τα προγράμματα χρήστη.
• Spark τώρα υποστηρίζει κρυπτογράφηση SSL για ορισμένες παραμέτρους επικοινωνίας.
• μετρήσεις σε πραγματικό χρόνο GC και Η ρεκόρ έχουν προστεθεί στο UI.

Τι είναι καινούργιο στην έκδοση 1.2.1:

• χειριστή είδος PySpark υποστηρίζει τώρα την εξωτερική διαρροή για μεγάλα σύνολα δεδομένων .
• PySpark υποστηρίζει πλέον μεταβλητές εκπομπή μεγαλύτερο από 2GB και εκτελεί εξωτερική διαρροή κατά τη διάρκεια των ειδών.
• Spark προσθέτει μια σελίδα σε επίπεδο εργασίας πρόοδος στο Spark UI, ένα σταθερό API για την υποβολή εκθέσεων προόδου, και δυναμική ενημέρωση των μετρήσεων εξόδου καθώς οι θέσεις εργασίας πλήρους.
• Το Spark έχει τώρα υποστήριξη για την ανάγνωση δυαδικών αρχείων για εικόνες και άλλα αρχεία σε δυαδική μορφή.

Τι είναι καινούργιο στην έκδοση 1.0.0:

• Η έκδοση αυτή επεκτείνεται πρότυπο βιβλιοθήκες του Spark, εισάγοντας ένα νέο πακέτο SQL (SQL Spark) που επιτρέπει στους χρήστες να ενσωματώσουν τα ερωτήματα SQL σε υπάρχουσες ροές εργασιών Spark.
• MLlib, βιβλιοθήκη μηχανικής μάθησης του Spark, έχει επεκταθεί με αραιή υποστήριξη φορέα και αρκετών νέων αλγορίθμων.

Τι είναι καινούργιο στην έκδοση 0.9.1:

• Διορθώθηκε το bug κατακερματισμού σύγκρουση στην εξωτερική διαρροή
• Σταθερή σύγκρουση με log4j Spark για τους χρήστες στηρίχθηκε σε άλλα συστήματα υποστήριξης καταγραφής
• Σταθερή Graphx λείπει από το βάζο Spark συναρμολόγησης στην maven χτίζει
• Σταθερή σιωπηλή αποτυχίες λόγω χάρτη κατάστασης εξόδου άνω μέγεθος Akka πλαίσιο
• περιττές άμεση εξάρτηση Αφαιρέθηκε Spark για ASM
• Αφαιρέθηκε μετρήσεις-ρίζας από προεπιλογή κατασκευής λόγω της LGPL σύγκρουση άδεια
• Διορθώθηκε το bug στο συμπιεσμένο αρχείο διανομής που δεν περιέχουν βάζο διάταξη σπινθήρα

Τι είναι καινούργιο στην έκδοση 0.8.0:

• Ανάπτυξης έχει μετακινηθεί στο Ίδρυμα Apache Sowftware ως έργο θερμοκοιτίδα.

Τι είναι καινούργιο στην έκδοση 0.7.3:

• Python απόδοση: ο μηχανισμός του Spark για την ωοτοκία Python ΣΠΣ έχει βελτιωθεί για να το πράξουν ταχύτερα όταν το JVM έχει μεγάλο μέγεθος σωρού, επιταχύνοντας την Python API.
• Mesos διορθώνει: JAR που προστίθενται στην εργασία σας θα είναι τώρα στο classpath όταν deserializing αποτελέσματα εργασιών στο Mesos
.
• αναφορά σφάλματος:. Καλύτερη αναφορά σφάλματος για μη σειριοποιήσιμο εξαιρέσεις και υπερβολικά μεγάλα αποτελέσματα εργασιών
• Παραδείγματα:. Προστέθηκε ένα παράδειγμα stateful επεξεργασίας ρεύματος με updateStateByKey
• Σώμα:. Spark ροής δεν εξαρτάται πλέον από το repo Twitter4J, που θα της επιτρέψουν να κατασκευάσει στην Κίνα
• διορθώσεις σφαλμάτων με foldByKey, streaming καταμέτρηση, στατιστικές μεθόδους, τεκμηρίωση, και web UI.

Τι είναι καινούργιο στην έκδοση 0.7.2:.

• Σκάλα ενημερώθηκε για την 2.9.3
• Αρκετές βελτιώσεις Bagel, συμπεριλαμβανομένων διορθώσεις επιδόσεις και ένα ρυθμιζόμενο επίπεδο αποθήκευσης.
• Νέες μέθοδοι API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, και άλλα
• Ένα νέο μετρήσεις διεπαφή αναφοράς, SparkListener, να συλλέγουν πληροφορίες για κάθε στάδιο υπολογισμών:. Μήκη έργο, bytes ανακατεύονται, κλπ
• Αρκετά νέα παραδείγματα χρησιμοποιώντας το Java API, συμπεριλαμβανομένων των Κ-μέσων και πληροφορικής π.

Τι είναι καινούργιο στην έκδοση 0.7.0:

• Spark 0.7 προσθέτει μια Python API που ονομάζεται PySpark <. / li>
• Spark εργασίες ξεκινήσει τώρα ένα web ταμπλό για την παρακολούθηση της χρήσης της μνήμης του κάθε διανέμονται σύνολο δεδομένων (ΕΑΕ) στο πρόγραμμα.
• Spark μπορούν τώρα να κατασκευαστούν χρησιμοποιώντας Maven εκτός από την SBT.

Τι είναι καινούργιο στην έκδοση 0.6.1:

• Σταθερή υπερβολικά επιθετική μήνυμα χρονικά όρια που θα μπορούσαν να προκαλέσουν οι εργαζόμενοι να αποσυνδεθείτε από το ταμπλό.
• Διορθώθηκε ένα σφάλμα στην αυτόνομη λειτουργία, να αναπτύξει αυτήν δεν εκθέτουν ονόματα εξυπηρετητών στον προγραμματιστή, που επηρεάζουν ΚΑΕ τοποθεσία.
• Βελτιωμένη επαναχρησιμοποίηση σύνδεση στο shuffle, το οποίο μπορεί να επιταχύνει σημαντικά τις μικρές ανακατατάξεις.
• Σταθερά ορισμένα πιθανά αδιέξοδα στη διαχείριση μπλοκ.
• Διορθώθηκε ένα σφάλμα πάρει ταυτότητες των αποτυχημένων φιλοξενεί από Mesos.
• Αρκετές βελτιώσεις σενάριο EC2, όπως καλύτερη διαχείριση του τόπου περιπτώσεις.
• Made η τοπική διεύθυνση IP που Spark συνδέεται με προσαρμόσιμη.
• Υποστήριξη για Hadoop 2 διανομές.
• Υποστήριξη για τον εντοπισμό Scala στις διανομές Debian.

Τι είναι καινούργιο στην έκδοση 0.6.0:.

• Απλούστερη ανάπτυξη
• τεκμηρίωσης του Spark έχει επεκταθεί με ένα νέο οδηγό γρήγορης εκκίνησης, πρόσθετες οδηγίες εγκατάστασης, οδηγό διαμόρφωσης, οδηγός συντονισμό και τη βελτίωση της τεκμηρίωσης Scaladoc API.
• Ένας νέος διευθυντής επικοινωνίας που χρησιμοποιούν ασύγχρονη Java NIO επιτρέπει λειτουργίες αναπαραγωγής με τυχαία σειρά τρέξει πιο γρήγορα, ειδικά όταν την αποστολή μεγάλων ποσοτήτων δεδομένων ή όταν οι θέσεις εργασίας έχουν πολλά καθήκοντα.
• Ένας νέος διαχειριστής αποθήκευσης υποστηρίζει ανά δέσμη ρυθμίσεων σε επίπεδο αποθήκευσης (π.χ. αν πρέπει να διατηρηθεί το σύνολο δεδομένων στη μνήμη, αποσειριοποίηση, στο δίσκο, κλπ, ή ακόμα και να αναπαραχθεί στους κόμβους).
• Ενισχυμένη τον εντοπισμό σφαλμάτων.