Hadoopy

Πρόκειται ουσιαστικά για μια βιβλιοθήκη Python για MapReduce γραμμένο σε Cython

Χαρακτηριστικά :.

• Παρόμοια διασύνδεση ως Hadoop API (σχεδιαστικών προτύπων που μπορούν να χρησιμοποιηθούν μεταξύ διεπαφές Python / Java)
• Γενική συμβατότητα με Dumbo να επιτρέπουν στους χρήστες να στραφούν και πίσω
• που μπορεί να χρησιμοποιηθεί για Hadoop ομάδες, χωρίς Python ή διαχειριστή πρόσβασης
• Γρήγορη μετατροπή και επεξεργασία
• να παραμείνει μικρή και καλά τεκμηριωμένη
• Να είστε διαφανής με ό, τι συμβαίνει
• προγράμματα Χειριστείτε με περίπλοκες .so, η ctypes, και επεκτάσεις
• Κωδικός γράφτηκε για hack-ικανότητα
• Απλή πρόσβαση ΚΑΕ (π.χ., ανάγνωση, γραφή, LS)
• Υποστήριξη (και δεν αναπαράγουν) το μεγαλύτερο οικοσύστημα Hadoop (π.χ., Oozie, βόμβος)
• Αυτοματοποιημένα παραλληλισμού εργασίας «auto-oozie» που διατίθενται στην ροή του έργου hadoopy (διατηρείται από το υποκατάστημα)
• Τοπική εκτέλεση του μη τροποποιημένου εργασία MapReduce με launch_local
• Διαβάστε / εγγραφής αρχείων ακολουθία TypedBytes απευθείας σε ΚΑΕ από πύθωνα (readtb, writetb)
• Επιτρέπει την εκτύπωση στο stdout και stderr στο Hadoop καθήκοντα χωρίς να προκαλούν προβλήματα (χρησιμοποιεί το «μεταπήδησης σωλήνα» τεχνική, και οι δύο είναι διαθέσιμα σε stderr Το έργο του)
• Λειτουργεί σε ομάδες, χωρίς καμία επιπλέον εγκατάσταση, Python, ή οποιαδήποτε βιβλιοθήκες της Python (χρησιμοποιεί Pyinstaller που περιλαμβάνονται σε αυτό το δέντρο πηγαίου κώδικα)
• Λειτουργεί σε OS X
• Κρίσιμη διαδρομή είναι σε Cython
• Απλή πρόσβαση ΚΑΕ (readtb και LS) μέσα από την Python, ακόμη και μέσα στο τρέξιμο θέσεις εργασίας
• διασύνδεση δοκιμή μονάδα

(Δηλώσεις και εκτύπωση! Δεν χρειάζεται να φοβάται από τους Hadoopy)
• Αναφοράς, χρησιμοποιώντας την κατάσταση και μετρητές
• Υποστηρίζει τα σχεδιαστικά πρότυπα στο βιβλίο Lin & Dyer
• υποστήριξη Typedbytes (πολύ γρήγορα)
• υποστήριξη Oozie

Απαιτήσεις :

• Cython 0.13 ή υψηλότερη