Apache Flume

Apache Σωλήνα αναπτύχθηκε ως μεσάζων σύστημα που συλλέγει τα αρχεία καταγραφής από μια εφαρμογή και το παραδίδει στον άλλο.
Θα πρέπει να λειτουργεί με τις περισσότερες εφαρμογές Java και οι προγραμματιστές θα πρέπει να είστε σίγουροι, Σωλήνα προστατεύεται από την απώλεια δεδομένων και την αποτυχία των υπηρεσιών.
Τα αρχεία καταγραφής σε συνεχή ροή σε πραγματικό χρόνο μέσω fault tolerant συστήματα με υποστήριξη για πολλά failover και την ανάκτηση των μηχανισμών.
Επειδή Σωλήνα τρέχει από μία κεντρική τοποθεσία, οι προγραμματιστές μπορούν να διαχειρίζονται εύκολα και επίσης, αξιοποιούν τους πόρους της για τις στατιστικές και τους σκοπούς analytics.
Ένα κρυφό χαρακτηριστικό του Σωλήνα είναι η πραγματική της «δεδομένων-αγνωστικιστής" σύστημα. Αυτό σημαίνει ότι μπορείτε εύκολα να αλλάξετε την πηγή ρεύματος δεδομένων από ένα αρχείο καταγραφής εξόδου από οτιδήποτε άλλο και να χρησιμοποιήσετε Σωλήνα με ασφάλεια συγκεντρωτικά στοιχεία από διάφορους τύπους υπηρεσιών.
Αυτά μπορεί να είναι τα μηνύματα ηλεκτρονικού ταχυδρομείου, την κοινωνική ρεύματα μέσων, την κυκλοφορία του δικτύου, και ούτω καθεξής

Τι είναι καινούργιο σε αυτή την έκδοση:.

• Αφαίρεση SSLv2Hello προκαλεί Java 6 πελάτες να σπάσει
• Ενεργοποίηση SSLv2Hello για Avro Πηγή και NettyAvroRpcClient
• Ενεργοποίηση SSLv2Hello για HttpSource
• Προστέθηκε dev-υποστήριξη SRC αρχειοθήκη
• δοκιμή μονάδα TestHTTPSource.java απέτυχε με την IBM JDK 1.7
• HTTP πηγή θα πρέπει να είναι σε θέση να εμποδίσει ένα πρόθεμα σύνολο πρωτοκόλλων.
• HTTPS δοκιμές αποτύχουν σε Java 6
• Να επιτρέπεται διαμόρφωση των ενεργοποιημένων πρωτοκόλλων Avro πηγή και RPC πελάτη

Τι είναι καινούργιο στην έκδοση 1.5.2:

• Αφαίρεση SSLv2Hello προκαλεί Java 6 πελάτες να σπάσει
• Ενεργοποίηση SSLv2Hello για Avro Πηγή και NettyAvroRpcClient
• Ενεργοποίηση SSLv2Hello για HttpSource
• Προστέθηκε dev-υποστήριξη SRC αρχειοθήκη
• δοκιμή μονάδα TestHTTPSource.java απέτυχε με την IBM JDK 1.7
• HTTP πηγή θα πρέπει να είναι σε θέση να εμποδίσει ένα πρόθεμα σύνολο πρωτοκόλλων.
• HTTPS δοκιμές αποτύχουν σε Java 6
• Να επιτρέπεται διαμόρφωση των ενεργοποιημένων πρωτοκόλλων Avro πηγή και RPC πελάτη

Τι είναι καινούργιο στην έκδοση 1.5.0:

• Νέο χαρακτηριστικό:
• εισάγουν ένα είδος SpillableChannel
• Να επιτρέπεται SpoolDir να περάσει μόνο το όνομα του αρχείου που είναι η πηγή της εκδήλωσης
• Σωλήνα Πλαίσιο δεν υποστηρίζει επιπλέουν ή διπλά τιμές παραμέτρων.
• Αναβάθμιση morphlines να 0.7.0
• ρέμα-ng-log4jappender χρήστη υποστήριξης που παρέχεται κεφαλίδες
• Elasticsearch νεροχύτη για ES HTTP API
• Προστέθηκε ένα νεροχύτη για Kite συνόλων δεδομένων
• περιέλιξης κατάλογο δεν θα πρέπει να καταναλώνουν πάντα το παλαιότερο αρχείο για πρώτη φορά.
• Βελτίωση:
• δείγμα Σωλήνα Οδηγός χρήσης διαμορφώσεις ανάγκη καθορισμού
• Κάντε SpoolDir συνεργαστεί με υπο-καταλόγους
• παροχέτευσης με πηγή τον κατάλογο θα πρέπει να είναι σε θέση να αντικαταστήσει ή να αγνοήσει ακατάλληλο χαρακτήρες
• χειρίζονται μεγαλύτερα ωφέλιμα φορτία μέσω SyslogUDPSource
• Αναβάθμιση εξάρτηση morphline βιβλιοθήκη σε 0.5.0 απελευθέρωση
• Μείωση διπλούν γεγονότα που προκαλείται από την επαναφορά-σύνδεση διαστήματος

Τι είναι καινούργιο στην έκδοση 1.3.0:

• Προστέθηκε HTTP Δημοσίευση Πηγή
• ElasticSearch νεροχύτης
• Σωλήνα υιοθετήσουν μήνυμα από τις υπάρχουσες τοπικές Scribe
• Προστέθηκε πηγή πολλαπλών syslog
• Αρχείο της Μάγχης θα πρέπει να υποστηρίζει την κρυπτογράφηση
• Δημιουργήστε ένα SpoolDirectory Πηγή και ο Πελάτης
• Load Balancing RPC πελάτη θα πρέπει να υποστηρίζει εκθετικής υποχώρησης των αποτυχημένων κόμβων
• Ανατρεπώμενα μετρητή κατάστασης RollingFileSink όταν σταματά παράγοντα
• Regex Extractor Interceptor

Τι είναι καινούργιο στην έκδοση 1.2.0:

• Υλοποιήθηκε μια ανθεκτική κανάλι μνήμης
• Δημιουργήθηκε οδηγό για την ανάπτυξη για Σωλήνα NG
• SDK Πελάτης
• εφαρμόσει ένα ανθεκτικό FileChannel
• Εφαρμόζεται Interceptors (παλαιότερα γνωστή ως Διακοσμητές) για Σωλήνα 1.x
• εφαρμόσει ένα HBase νεροχύτη που υποστηρίζει την πρόσβαση στο επίπεδο πίνακα
• Σε εφαρμογή χρονοσήμων Interceptor
• Ασύγχρονης HBase νεροχύτης

Απαιτήσεις :

• Java 1.6 ή νεότερη