Beaver

Beaver είναι ένας δαίμονας Python που μασάει σε κορμούς και στέλνει το περιεχόμενό τους να logstash.
installation
Χρησιμοποιώντας PIP:
Από Github:
PIP εγκαταστήσετε git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Από PyPI:
PIP εγκαταστήσετε κάστορας == 1
Χρήση
χρήση:
Beaver [-h] [-r {εργαζόμενος, διαδραστικό}] [-m {bind, συνδέστε}] [-p PATH]
& Nbsp? [- Στ ΑΡΧΕΙΑ [ΑΡΧΕΙΑ ...]] [-t ΜΕΤΑΦΟΡΕΣ]
προαιρετικά επιχειρήματα:
-h, --help εμφανιστεί αυτό το μήνυμα βοήθειας και έξοδος
-r {εργαζόμενος, διαδραστικό}, {--run εργαζόμενος, διαδραστικό}
& Nbsp? Τρέξει εργαζόμενος ή διαδραστική λειτουργία
-m {δεσμεύουν, συνδέστε}, {--mode δεσμεύουν, συνδέστε}
& Nbsp? Δεσμεύουν ή λειτουργία συνδεθείτε
-p PATH, --path διαδρομή PATH σε αρχεία καταγραφής
-f ΑΡΧΕΙΑ [ΑΡΧΕΙΑ ...], --files ΑΡΧΕΙΑ [ΑΡΧΕΙΑ ...]
& Nbsp? Διαχωρισμένες με κενά λίστα αρχείων για να παρακολουθήσουν. Παρακάμπτει --path
& Nbsp? Επιχείρημα
-t {amqp, Ρέντη, stdout}, {--transport amqp, Ρέντη, stdout}
& Nbsp? Συνδεθείτε μέθοδο μεταφοράς
Ιστορικό
Beaver παρέχει ένα ελαφρύ μέθοδος για τη ναυτιλία τοπικά αρχεία καταγραφής σε Logstash. Αυτό επιτυγχάνεται με τη χρήση είτε σε εκείνο που, stdin, zeromq η μεταφορά. Αυτό σημαίνει ότι θα χρειαστεί ένα Ρέντη, stdin, zeromq εισόδου κάπου κάτω από το δρόμο για να πάρετε τα γεγονότα.
Τα γεγονότα που αποστέλλονται σε μορφή json_event logstash του. Επιλογές μπορεί επίσης να οριστεί ως μεταβλητές περιβάλλοντος.
Παραδείγματα
Παράδειγμα 1: Ακούστε όλα τα αρχεία στην προεπιλεγμένη διαδρομή / var / log στην τυπική έξοδο:
κάστορας
Παράδειγμα 2: Αποστολή αρχείων καταγραφής από το / var / log αρχεία σε μια λίστα Ρέντη:
REDIS_URL = "αναπροεξοφλεί: // localhost: 6379/0« Ρέντη κάστορα -t
Παράδειγμα 3: Χρήση μεταβλητές περιβάλλοντος για να στείλετε τα αρχεία καταγραφής από το / var / log αρχεία σε μια λίστα Ρέντη:
REDIS_URL = "αναπροεξοφλεί: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = Ρέντη κάστορα
Παράδειγμα 4: Zeromq ακρόαση στη θύρα 5556 (όλες οι διασυνδέσεις):
ZEROMQ_ADDRESS = "TCP: // *: 5556« δέσουν κάστορα -m
# Logstash config:
εισόδου {{zeromq
& Nbsp? Type => "φορτωτής εισόδου»
& Nbsp? Mode => «πελάτη»
& Nbsp? Τοπολογία => 'PushPull »
& Nbsp? Διεύθυνση => 'TCP: // shipperhost: 5556'
& Nbsp?}}
εξόδου {{stdout debug => true}}
Παράδειγμα 5: Zeromq σύνδεση με απομακρυσμένη θύρα 5556 για δεικτοδότη:
ZEROMQ_ADDRESS = "TCP: // δεικτοδότη: 5556" κάστορα -m συνδεθείτε
# Logstash config:
εισόδου {{zeromq
& Nbsp? Type => "φορτωτής εισόδου»
& Nbsp? Mode => 'Server'
& Nbsp? Τοπολογία => 'PushPull »
& Nbsp? Διεύθυνση => 'TCP: // *: 5556'
& Nbsp?}}
εξόδου {{stdout debug => true}}

Τι είναι καινούργιο σε αυτήν την έκδοση:

• Βεβαιωθείτε ότι τα νέα αρχεία προστίθενται α μεταφέρει διαμόρφωση. Κλείνει # 96. Κλείνει # 101. [Jose Diaz-Gonzalez]
• Να επιτρέπεται αριθμούς float για update_file_mapping_time. [Jose Diaz-Gonzalez]
• Fix άκυρο χύτευση λογικές τιμές. [Jose Diaz-Gonzalez]
• Εκτελέστε όλες τις μετατροπές σε config.py. Κλείνει # 99. [Jose Diaz-Gonzalez]

Τι είναι καινούργιο στην έκδοση 16:

• Καθορίστε ένα μέγιστο μέγεθος της ουράς αναμονής 100 για τον περιορισμό της υπέρβασης της μνήμης. [Jose Diaz-Gonzalez]
• Χρήση multiprocessing για το χειρισμό μεγαλύτερων μεγεθών ουρά. [Jose Gonzalez Diaz-]
• Παλαιότερα υπήρχαν θέματα όπου τα αρχεία που ενημερώνονται συχνά, όπως βερνίκι ή διακομιστή αρχείων καταγραφής θα κατέκλυζαν τον αφελή εφαρμογή των file.readlines () μέσα σε Beaver. Αυτό θα μπορούσε να προκαλέσει Beaver να διαβάσει αργά και μεγαλύτερα τμήματα ενός αρχείου πριν από την επεξεργασία οποιαδήποτε από τις γραμμές, προκαλώντας τελικά Beaver να πάρει για πάντα για να επεξεργαστεί τις γραμμές καταγραφής.
• Το patch προσθέτει τη δυνατότητα να χρησιμοποιήσουν ένα εσωτερικό ουρά εργασίες για γραμμές καταγραφής. Όποτε file.readlines () καλείται, οι γραμμές θα τοποθετηθεί στην ουρά, το οποίο μοιράζεται με μια διαδικασία παιδί. Η διαδικασία παιδί δημιουργεί τη δική μεταφορών, που μας επιτρέπει να πιθανώς να δημιουργήσει μια πισίνα διαδικασίας στο μέλλον να χειριστεί ένα μεγαλύτερο μέγεθος ουράς.
• Να σημειωθεί ότι ο περιορισμός των file.readlines () ανάγνωση σε πάρα πολλές γραμμές εξακολουθεί να υφίσταται, και μπορεί να συνεχίσει να προκαλέσει ζητήματα για ορισμένα αρχεία καταγραφής.
• Προσθήκη προεπιλογή redis_password να BeaverConfig τάξη. [Jose Diaz-Gonzalez]
• Fix λείπουν υπογράμμισης προκαλώντας μεταφοράς να σπάσει. [Norman Joyner]
• Εφαρμογή υποστήριξη auth Ρέντη. [Norman Joyner]
• Προσθήκη κάστορα script εκκίνησης για τη λειτουργία daemonization. [Jose Diaz-Gonzalez]
• Χρησιμοποιήστε Python καταγραφικό όταν χρησιμοποιούν StdoutTransport. [Jose Diaz-Gonzalez]
• Προσθέστε βραχείας σημαίες arg για όνομα και μορφή. [Jose Diaz-Gonzalez]
• Προσθέστε τη δυνατότητα να daemonize. Κλείνει # 79. [Jose Diaz-Gonzalez]
• Περάστε γύρω από ένα παράδειγμα καταγραφικό σε όλες τις μεταφορές. [Jose Diaz-Gonzalez]
• Επαναφορά & quot? Προστέθηκε ένα ελαφρύ κατηγορία Εκδήλωση & quot? [Jose Diaz-Gonzalez]
• Μετά την σύσκεψη, ο κάστορας είναι γραφτό να γίνει & quot? Ελαφρύ & quot ;. Αφήνει να αφήσει το βαρύ χτύπημα για τα μεγάλα αγόρια.
• Αυτό επαναφέρει τη διάπραξη 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Προστέθηκε ένα ελαφρύ κατηγορία συμβάντος. [Jose Diaz-Gonzalez]
• αποκλειστική ευθύνη η τάξη αυτή θα είναι η επεξεργασία μιας συγκεκριμένης γραμμής ως ένα γεγονός. Είναι μελλοντικός στόχος θα είναι να δρα ως ένα ελαφρύ εφαρμογή του συστήματος φίλτρου μέσα Logstash
• Κατάργηση argparse απαίτηση για Python 2.7 και άνω. [Jose Gonzalez Diaz-]

Τι είναι καινούργιο στην έκδοση 13:

• Σταθερή ορισμένες μεταβλητές περιβάλλοντος. [Jose Diaz-Gonzalez]
• SSH σήραγγα υποστήριξης. [Jose Diaz-Gonzalez]
• Ο κωδικός αυτός θα πρέπει να μας επιτρέψει να δημιουργήσουμε μια σήραγγα SSH μεταξύ δύο ξεχωριστούς διακομιστές για τους σκοπούς της αποστολής και λήψης δεδομένων.
• Αυτό είναι χρήσιμο σε ορισμένες περιπτώσεις όπου διαφορετικά θα πρέπει να λευκή λίστα σε ρύθμιση Τείχος προστασίας ή iptables σας, όπως όταν τρέχει σε δύο διαφορετικές περιοχές στην AWS.
• Να προβλέπεται η υστέρηση σύνδεση. Χρήσιμες κατά την αναμονή για ένα πληρεξούσιο SSH για να συνδεθείτε. [Jose Diaz-Gonzalez]
• Fix θέμα όπου ορισμένες προεπιλογές config ήταν ανάρμοστο αξία. [Jose Diaz-Gonzalez]
• Αφήστε τον καθορισμό του ξενιστή μέσω σημαία. Κλείνει # 70. [Jose Diaz-Gonzalez]

Απαιτήσεις :

• Python