yahi

Yahi είναι ένα ευέλικτο πρόγραμμα ανάλυσης καταγραφής παρέχει προεπιλεγμένες απαγωγείς για apache / lighttpd.
Η χρήση της γραμμής εντολών
Παράδειγμα των δεδομένων αναλύεται με Yahi: http://wwwstat.julbox.fr/
Απλούστερη χρήση είναι:
speed_shoot -g / usr / local / δεδομένων / geoip / var / www / apache / πρόσβαση * log
θα επιστρέψει ένα JSON με τη μορφή:
{
& Nbsp? "By_date": {
& Nbsp? "05.03.2012": 11
& Nbsp?},
& Nbsp? "Total_line": 11,
& Nbsp? "Ip_by_url": {
& Nbsp? "/ Favicon.ico": {
& Nbsp? "192.168.0.254": 2,
& Nbsp? "192.168.0.35": 2
& Nbsp?},
& Nbsp? "/": {
& Nbsp? "74.125.18.162": 1,
& Nbsp? "192.168.0.254": 1,
& Nbsp? "192.168.0.35": 5
& Nbsp?}
& Nbsp?},
& Nbsp? "By_status": {
& Nbsp? "200": 7,
& Nbsp? "404": 4
& Nbsp?},
& Nbsp? "By_dist": {
& Nbsp? "Άγνωστο": 11
& Nbsp?},
& Nbsp? "Bytes_by_ip": {
& Nbsp? "74.125.18.162": 151,
& Nbsp? "192.168.0.254": 489,
& Nbsp? "192.168.0.35": 1093
& Nbsp?},
& Nbsp? "By_url": {
& Nbsp? "/ Favicon.ico": 4,
& Nbsp? "/": 7
& Nbsp?},
& Nbsp? "By_os": {
& Nbsp? "Άγνωστο": 11
& Nbsp?},
& Nbsp? "Week_browser": {
& Nbsp? "3": {
& Nbsp? "Άγνωστο": 11
& Nbsp?}
& Nbsp?},
& Nbsp? "By_referer": {
& Nbsp? "-": 11
& Nbsp?},
& Nbsp? "By_browser": {
& Nbsp? "Άγνωστο": 11
& Nbsp?},
& Nbsp? "By_ip": {
& Nbsp? "74.125.18.162": 1,
& Nbsp? "192.168.0.254": 3,
& Nbsp? "192.168.0.35": 7
& Nbsp?},
& Nbsp? "By_agent": {
& Nbsp? "Mozilla / 5.0 (X11? Ubuntu? Linux x86_64? RV: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (μέσω translate.google.com)»: 1,
& Nbsp? "Mozilla / 5.0 (X11? X86_64 Linux?? Ubuntu RV: 12.0) Gecko / 20100101 Firefox / 12,0": 10
& Nbsp?},
& Nbsp? "By_hour": {
& Nbsp? "9": 3,
& Nbsp? "10": 4,
& Nbsp? "11": 1,
& Nbsp? "12": 3
& Nbsp?},
& Nbsp? "Με χώρα": {
& Nbsp? "": 10,
& Nbsp? "ΗΠΑ": 1
& Nbsp?}
}
Εάν χρησιμοποιείτε:
speed_shoot -f CSV -g / usr / local / δεδομένων / geoip / var / www / apache / πρόσβαση * log
Το αποτέλεσμα είναι:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, άγνωστος, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, / 7
by_os, άγνωστος, 11
week_browser, 3, άγνωστος, 11
by_referer, - 11
by_browser, άγνωστος, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11? x86_64 Linux?? Ubuntu RV: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (μέσω translate.google.com)», 1
by_agent, Mozilla / 5.0 (X11? x86_64 Linux?? Ubuntu RV: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
με χώρα ,, 10
με χώρα, τις ΗΠΑ, την 1η
Καλά υποθέτω, δεν λειτουργεί, επειδή πρέπει πρώτα να φέρω το αρχείο δεδομένων geoip:
wget -Ο "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Φυσικά, αυτή είναι η βάση δεδομένων GeoLite, δεν περιλαμβάνουν τα δεδομένα στο πακέτο από geoip πρέπει να ενημερώνεται συχνά για να παραμείνουν ακριβείς.
Προεπιλεγμένη διαδρομή για geoip είναι τα δεδομένα / GeoIP.dat
Χρήση ως σενάριο
πυροβολούν ταχύτητα είναι στην πραγματικότητα ένα πρότυπο για το πώς να Yahi χρησιμοποιούν ως μονάδα:
#! / Usr / bin / env python
από την εισαγωγή archery.bow Hankyu ως _dict
από Yahi εγκοπή εισαγωγής, πυροβολούν
από datetime datetime εισαγωγής
πλαίσιο = εγκοπή ()
date_formater = λ dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp? Πυροβολήσει (
& Nbsp? Το πλαίσιο,
& Nbsp? Δεδομένα λάμδα: _dict ({
& Nbsp? »Με χώρα»: _dict ({δεδομένα ['_ χώρα »]: 1}),
& Nbsp? "By_date»: _dict ({date_formater (στοιχεία ['_ datetime']): 1}),
& Nbsp? 'By_hour »: _dict ({. Δεδομένων [' _ datetime '] ώρα: 1}),
& Nbsp? »By_os»: _dict ({δεδομένα ['_ os_name']: 1}),
& Nbsp? "By_dist»: _dict ({δεδομένα ['_ dist_name']: 1}),
& Nbsp? 'By_browser »: _dict ({δεδομένα [' _ BROWSER_NAME ']: 1}),
& Nbsp? 'By_ip »: _dict ({δεδομένα [« ΠΕ »]: 1}),
& Nbsp? 'By_status »: _dict ({δεδομένα [« καθεστώς »]: 1}),
& Nbsp? "By_url»: _dict ({δεδομένα [«URI»]: 1}),
& Nbsp? "By_agent»: _dict ({δεδομένα [«πράκτορα»]: 1}),
& Nbsp? »By_referer»: _dict ({δεδομένα [«referer ']: 1}),
& Nbsp? "Ip_by_url»: _dict ({δεδομένα [«URI»]: _dict ({δεδομένα [«ΠΕ»]: 1})}),
& Nbsp? "Bytes_by_ip»: _dict ({δεδομένα [«ΠΕ»]: int (στοιχεία [«bytes])}),
& Nbsp? "Week_browser»:. _dict ({Δεδομένα ['_ datetime »] ημέρα της εβδομάδας ():
& Nbsp? _dict ({Δεδομένα ["_ BROWSER_NAME"]: 1})}),
& Nbsp? "Total_line»: 1,
& Nbsp?}),
& Nbsp?),
)
installation
εύκολο όπως:
Pip εγκατάσταση Yahi
ή:
easy_install Yahi
Συνιστώμενη χρήση
- Για τους βασικούς συνάθροιση καταγραφής, εγώ προτείνω ανεπιφύλακτα τη χρήση της γραμμής εντολών?
- Για μία μετρήσεις πυροβολισμό Θα ήθελα να συστήσω ένα διαδραστικό κονσόλα (bpython ή ipython)?
. - Για συγκεκριμένες μετρήσεις ή περίτεχνα φίλτρα που recommand χρησιμοποιώντας το API

Απαιτήσεις :

• Python