Grub Next Generation είναι ένα κατανεμημένο web crawling σύστημα (πελατών / εξυπηρετητών), η οποία βοηθά να χτίσει και να διατηρήσει δωρεάν (όπως στην ελευθερία) δείκτη του Web. Αυτή είναι η αυτόνομη, δυνατότητα ρύθμισης του διακομιστή Ανεβάστε γραμμένο σε C # (Mono)
Αναζήτηση αποτελεί μέρος της θεμελιώδους υποδομή του Διαδικτύου. Και, επί του παρόντος σπάσει.
Γιατί είναι χαλασμένο; Είναι σπασμένα για τον ίδιο λόγο που το ιδιοκτησιακό λογισμικό είναι πάντα σπασμένα: έλλειψη ελευθερίας, την έλλειψη της κοινότητας, έλλειψη λογοδοσίας, της έλλειψης διαφάνειας. Εδώ, θα αρχίσουμε να τα αλλάξει όλα αυτά.
Grub ξεκίνησε το 2000 με μια απλή έννοια της διανομής τμήμα του αγωγού διαδικασία αναζήτησης: crawling. Κατά κάποιο τρόπο, ήμασταν λίγο μπροστά από την εποχή μας, αλλά πρόθεσή μας τότε ήταν αυτό που είναι σήμερα. Θέλουμε να βοηθήσουμε την αναζήτησή λύση.
Τώρα, με τη βοήθεια της Wikia, τα μέλη της κοινότητας, συμβάλλουν στις, και οι προγραμματιστές ανοικτού κώδικα έχει έρθει και πάλι του χρόνου μας. Ελάτε να είναι μέρος της κάτι μεγαλύτερο. Ελάτε να μας βοηθήσει να αλλάξουμε τον κόσμο
Τι είναι καινούργιο σε αυτή την έκδοση:.
- Fixed bug με όχι διαγραφή των προσωρινών καταλόγων
- κάποια βελτιστοποίηση κώδικα
Τι είναι καινούργιο στην έκδοση 0.9:
- καλύτερο χειρισμό .pid αρχείο
- Fixed bug με συντριβή uploader σε αποτυχία σύνδεσης με SOLR
- καλύτερο ανεβάσετε .arc αρχεία
- Fixed bug με το διακομιστή Στάση / επανεκκίνηση
Τι είναι καινούργιο στην έκδοση 0.8.6:
- ενημερώνεται εξυπηρετητή API
- ελέγχοντας αν τα έργα uploader από .pid αρχείο
- Fixed bug με το διακομιστή συντριβή του φακέλου καταχώρισης
- προστεθούν πληροφορίες σχετικά με το ποσό και το συνολικό μέγεθος των αρχείων κατά τη διάρκεια της καταχώρισης καταλόγους
- προστεθεί επιλογή για να απενεργοποιήσετε την καταχώρισή κατάλογο μέσω HTTP
- προστεθεί υποστήριξη για μεθόδους συμπίεσης: BZip2 και ZIP
Τι είναι καινούργιο στην έκδοση 0.8.5:.
- Ρύθμιση των επιλογών server μέσω του API ορίστηκε
- Ο διακομιστής τώρα κωδικοποιεί σωστά τις διευθύνσεις URL για το HTTP GET αιτήματα.
- Μερικοί βελτιστοποιήσεις κώδικα έγιναν.
Τι είναι καινούργιο στην έκδοση 0.8.4:
- Προστέθηκε επιλογή για να εργαστούν απευθείας στο δίσκο, αντί της χρήσης μνήμη
- προστιθέμενη έλεγχος για τον τύπο περιεχομένου για τη διεύθυνση URL σε .arc αρχεία
- Προστέθηκε η επιλογή για να ρυθμίσετε το όριο ταχύτητας σύνδεσης για αποστολή / λήψη
- Fixed bug με το διακομιστή συντριβή στο έγκυρο αίτημα PUT
- κάποια βελτιστοποίηση κώδικα
Τι είναι καινούργιο στην έκδοση 0.8.3:
- Fixed bug με το διακομιστή συντριβή στις δεχτεί άκυρα .arc αρχείο
- Προστέθηκε η επιλογή για να ρυθμίσετε το όριο για το μέγιστο επιτρεπτό MB για ένα URL σε .arc αρχεία που έχουν προστεθεί επιλογή για να ρυθμίσετε το μέγεθος του good.arc και bad.arc αρχεία
- Προστέθηκε επιλογή για να απαγορεύσουν τη σύνδεση με IP ή όνομα χρήστη
- προστεθούν τηλεχειριστήριο (διαμορφώσετε / stop / restart)
- προστεθούν ClamAV C # περιτύλιγμα
- κάποια βελτιστοποίηση κώδικα
Τι είναι καινούργιο στην έκδοση 0.8.1:
- Fixed bug με συντριβή uploader για τα μη έγκυρα HTML ετικέτα META
- Fixed bug με συντριβή uploader για τα μη έγκυρα δεδομένα στο αρχείο
- Fixed bug με συντριβή uploader για τη σύνδεση σε SOLR
- Fixed bug με το διακομιστή συντριβή στο έγκυρο κωδικό κατάστασης HTTP στο .arc αρχείο
- Fixed bug με το διακομιστή συντριβή για πρόωρα έκλεισε τη σύνδεση
- προστεθούν εγγραφής SOLR μόνο αυτές τις σελίδες που μπορούν να μετατραπούν σε UTF-8
- προστεθούν διαγράψετε όλους τους χαρακτήρες ελέγχου από SOLR UpdateXML
Τι είναι καινούργιο στην έκδοση 0.6:
- Κωδικός καθαρισμού και refactoring
- κίνηση φόρτωμα και τον έλεγχο .arc αρχεία σε ξεχωριστό πρόγραμμα
- Fixed bug με καταμέτρηση συνδεδεμένους πελάτες
- σταθερή απάντηση του server σε μη έγκυρη αίτηση POST
- Fixed bug με το διακομιστή συντριβή στο αντίγραφο δεν υπάρχοντος αρχείου
- Fixed bug με το διακομιστή συντριβή σε ημιτελή αρχεία κατεβάσετε
- Σταθερά Bug # 377: Η σύνδεση γίνεται επαναφορά αντί να κλείνει μετά δίσκος είναι γεμάτος λάθος
- Προστέθηκε απλές συνδέσεις log
- Προστέθηκε επιλογή για να μετακινήσετε .arc αρχεία στο δίσκο (όχι μόνο για να Hadoop)
Τι είναι καινούργιο στην έκδοση 0.5:.
- Αυτή είναι η πρώτη έκδοση beta
- Προστέθηκε υποστήριξη συμπίεσης LZMA.
- Ο διακομιστής ΑΡΙ επεκτάθηκε.
- Έλεγχος της ορθότητας των αποσταλεί .arc αρχεία βελτιώθηκε.
- Βελτιστοποίηση κώδικα έγινε.
Τα σχόλια δεν βρέθηκε