Jug

Κανάτα είναι μια υλοποίηση της Python του πλαισίου MapReduce (τώρα ένα τυπικό μέρος της Hadoop ), επιτρέποντας στους προγραμματιστές να γράψουν κώδικα που μπορεί να τρέξει σε διάφορες μορφές του παραλληλισμού.
Αυτό σημαίνει κώδικα που μπορεί να τρέξει παράλληλα στο ίδιο μηχάνημα, ή σε μια συστοιχία υπολογιστών (πολλαπλές μηχανές).
Κανάτα επιτρέπει στους προγραμματιστές να οργανώσει κώδικα σε μικρότερα κομμάτια, και επιλέγοντας πού, πώς και πότε να το τρέξει.
Ενώ αυτό μπορεί να είναι πάνω από την κορυφή για μικρές ιστοσελίδες και εφαρμογές, αυτή η συμπεριφορά μπορεί να είναι πολύ χρήσιμη σε εφαρμογές με υψηλό φορτίο κίνησης ή που χειρίζονται μεγάλες ποσότητες δεδομένων.
Κανάτα μπορεί να λειτουργήσει και να αποθηκεύουν δεδομένα σε τοπικό επίπεδο μέσω του σκληρού δίσκου, ή μπορεί να χρησιμοποιήσει απομακρυσμένη αποθήκευση. Για την τελευταία περίπτωση, η Ρέντη βάσης δεδομένων υποστηρίζεται

Χαρακτηριστικά :.

• μόνιμης αποθήκευσης δεδομένων υποστήριξη
• επαναχρησιμοποιεί μερικά αποτελέσματα
• υποστήριξη Ταυτοχρονισμός
• Τοπική αποθήκευση δεδομένων
• Απομακρυσμένη αποθήκευση δεδομένων
• πούλι κατάσταση λειτουργίας

Τι είναι καινούργιο σε αυτήν την έκδοση:

• διορθώσεις Python 3 συμβατότητα
• fsync (κατάλογο) στο αρχείο backend
• άγκιστρα Κανάτα (ακόμη και κυρίως χωρίς χαρτιά, αλλά ήδη επιτρέποντας εσωτερική απλοποίηση κωδικός)

Τι είναι καινούργιο στην έκδοση 0.9.7:

• Fix χρήση του NumPy υποκατηγορίες
• αναπροεξοφλεί Fix URL parsing
• Fix `` shell`` για νεότερες εκδόσεις του IPython
• Σωστά καταφύγουμε σε μη-SQLite `` status``

Τι είναι καινούργιο στην έκδοση 0.9.6:

• Ταχύτερη αποκωδικοποίησης
• Προστέθηκε κανάτα-εκτελέσει το σενάριο
• Προστέθηκε περιγράφουν () συνάρτηση
• Προστέθηκε write_task_out () συνάρτηση

Τι είναι καινούργιο στην έκδοση 0.9.1:

• Προστέθηκε `` webstatus`` subcommand
• Προστέθηκε bvalue () συνάρτηση
• Διορθώθηκε το bug στην `` shell`` subcommand (`` value`` δεν ήταν σε παγκόσμια namespace)
• Βελτιωμένη ταυτότητα ()
• Διορθώθηκε το bug στην χρήση Tasklets και --aggressive-ξεφορτώνουν
• Διορθώθηκε το bug με Tasklets και ύπνο μέχρι / check

Τι είναι καινούργιο στην έκδοση 0.9:

• Με την παρουσία του φραγμού (), εκτελέστε ξανά την jugfile . Αυτό καθιστά εμπόδιο πολύ εύκολο στη χρήση.
• Προστέθηκε set_jugdir για τη δημόσια API.
• Προστέθηκε CompoundTaskGenerator.
• Υποστήριξη υποκλάσεις των εργασιών.
• Αποφύγετε τη δημιουργία καταλόγων σε αρχείο backend, εκτός εάν είναι απαραίτητο.
• Προσθήκη jug.mapreduce.reduce (η οποία μιμείται την ενσωματωμένη μείωση).

Τι είναι καινούργιο στην έκδοση 0.8.1:

• αναπροεξοφλεί Fix backend για νέα έκδοση της ενότητας πελάτη
• Ταχύτερη αποθήκευσης αρχείων για μεγάλα αρχεία
• Fix `invalidate` με Tasklets
• Εγκαταστήστε δοκιμές και να τους είναι εκτελέσιμη
• μέθοδος υπολογισμού Άλλαξε κατακερματισμού. Αυτό έχει μια ειδική περίπτωση σε συστοιχίες NumPy
• (για ταχύτητα) και είναι πιο επεκτάσιμη μέσω άγκιστρο __jug_hash__
• Διόρθωση bug με Tasklet δεν εξαρτήσεις λαμβάνονται δεόντως υπόψη
• Fix κέλυφος subcommand σε νεότερες εκδόσεις του ipython
• Προσθήκη __FILE__ ιδιότητα να ψεύτικο jugmodule

Τι είναι καινούργιο στην έκδοση 0.8:

• Tasklets
• Fix σφάλματα στον ύπνο, μέχρι και τον καθαρισμό
• Fix σφάλματα με CompoundTask (που απαιτείται για να τρέξει κανάτα εκτελέσει δύο φορές πριν).

Τι είναι καινούργιο στην έκδοση 0.8-B0:

• Tasklets - Fix σφάλματα στον ύπνο, μέχρι και τον καθαρισμό .

Τι είναι καινούργιο στην έκδοση 0.7.4:

• Fix περίπτωση όπου ~ / .jug / configrc κάνει Δεν υπάρχουν.
• Εκτύπωση όνομα του κεντρικού υπολογιστή για να κλειδώσετε το αρχείο σε file_store.
• refactored εφαρμογή των επιλογών.
• Fix εκφόρτωσης εργασίες που δεν έχουν εκτελεστεί.
• Διόρθωση MapReduce για άδειο.

Τι είναι καινούργιο στην έκδοση 0.7.3:.

• μαϊντανός ~ / .jug / configrc
• Διόρθωση bug με τους χρόνους αναμονής.

Εξοικονόμησης
• Ειδική περίπτωση NumPy συστοιχίες.
• Προσθήκη πιο εκφραστική σύνταξη jugdir.
• Αποθηκεύστε dict_store backend στο δίσκο.

Τι είναι καινούργιο στην έκδοση 0.7.2:.

• Συμπεριλαμβάνεται αρχεία που λείπουν στη διανομή

Τι είναι καινούργιο στην έκδοση 0.7.1:.

• ύπνου μέχρι subcommand
• Διόρθωση για φράγμα () και η αλληλεπίδραση MapReduce.
• βελτίωση Τεκμηρίωσης.

Τι είναι καινούργιο στην έκδοση 0.7:

• Καλύτερη `` shell`` εντολή
• μέθοδος ξανάγραψε για jugfiles φόρτωσης
• Οι εργασίες πρέπει αρχική λειτουργία προσβάσιμα ως `f`

Τι είναι καινούργιο στην έκδοση 0.6.9:.

• Νέα εντολή ελέγχου
• load_all () μέσα στο κέλυφος.

Τι είναι καινούργιο στην έκδοση 0.5.2:.

• Νέο `shell` εντολή
• Η συμπίεση στο Ρέντη backend.
• Βελτιώσεις στην ταχύτητα για «ακυρώνει» την εντολή.

Τι είναι καινούργιο στην έκδοση 0.5.1:

• Ρέντη backend
• εξαρτήσεις Λεξικό

(Jugfile εντολή κανάτα ...)
• Αλλαγή γραμμής εντολών

Απαιτήσεις :

• Python 2.6 ή νεότερη έκδοση