Apache Nutch

του έργου Apache Nutch είναι ένα open source, επεκτάσιμη, εξαιρετικά επεκτάσιμη και δωρεάν web-based λογισμικό ανίχνευσης ιστού που βασίζεται σε Apache Lucene (έκδοση Java) βιβλιοθήκη.
Προσθέτει λεπτομέρειες Web, όπως ένα ερπυστριοφόρο, μια βάση δεδομένων σύνδεση γράφημα, αναλυτών για HTML και άλλες μορφές εγγράφων, κλπ Αναπτύσσεται και διανέμεται από το Ίδρυμα Apache, είναι δύο χωριστούς κλάδους.
Όντας σπονδυλωτή και συνδεόμενο, Apache Nutch έχει τα οφέλη της, με την παροχή επεκτάσιμο διεπαφές όπως μαϊντανός, Index και ScoringFilter για το έθιμο εφαρμογές, όπως Apache Τίκα για την ανάλυση.
Επιπλέον, Apache Nutch είναι σχεδιασμένο να λειτουργεί σε ένα μοναδικό μηχάνημα, αλλά είναι πιο ισχυρή όταν εκτελείται σε ένα σύμπλεγμα Hadoop. Υπάρχει Κουμπωτός ευρετηρίασης για Ελαστικές Αναζήτηση, Apache SOLR, etc

Τι είναι καινούργιο σε αυτή την έκδοση:.

• nutch-1779 Εφαρμογή μορφοποίηση του κώδικα (lewismc)
• nutch-1907 Λανθασμένη εξόδου outlinks να οικοδεσπότες εντός HostDbUpdateReducer (lewismc)
• nutch-1856 webpage.avsc εγγράφων και host.avsc (lewismc)
• nutch-1834 GeneratorMapper συμπεριφορά εξαρτάται από το επίπεδο καταγραφής (Gerhard Gossen μέσω snagel)
• nutch-1899 αναβάθμιση restlet lib να αποφευχθεί ο σχηματισμός ανεπάρκεια (Ταλάτ)
• nutch-1797 αφαίρεση αχρησιμοποίητο πακέτο oanhtml (Saurabh Chhajed μέσω snagel)
• nutch-1888 Καθορίστε HTMLMapper για χρήση σε TikaParser (Halil Σιμσέκ μέσω jnioche)
• nutch-1897 τον ευκολότερο εντοπισμό σφαλμάτων σφαλμάτων plugin XML (Markus)
• nutch-1823 Αναβάθμιση σε elasticsearch 1.4.1 (Phu Kieu, Markus, lewismc)
• nutch-1829 Γεννήτρια: σε θέση να διακρίνουμε τις πραγματικές λάθη (Mathieu Bouchard, jnioche, snagel)
• nutch-1778 Γεννήτρια όχι την καταγραφή αριθμό των διευθύνσεων URL σε παρτίδα σωστά (jnioche μέσω snagel)
• nutch-1877 φίλτρο Κατάληξη URL για να αγνοήσει ερώτημα string από προεπιλογή (Markus μέσω snagel)
• nutch-1825-http πρωτόκολλο μπορεί να κολλήσει σε ορισμένες ιστοσελίδες (Phu Kieu μέσω snagel)
• nutch-1483 δεν μπορεί να ανιχνεύσει το σύστημα αρχείων με το πρωτόκολλο το αρχείο plugin (Ροτζέριο Pereira Araujo, Mengying Wang, snagel)
• nutch-1885 Πρωτόκολλο αρχείο πρέπει να αντιμετωπίζουν συμβολικών συνδέσμων ως ανακατευθύνσεις (Mengying Wang, snagel)
• nutch-1880 URLUtil δεν θα πρέπει να προσθέσετε επιπλέον καθέτους διευθύνσεις URL για το αρχείο (snagel)
• nutch-1879 Regex URL normalizer πρέπει να αφαιρέσετε πολλαπλές καθέτους μετά το αρχείο: πρωτόκολλο (snagel)
• nutch-1820 αφαίρεση πεδίο & quot? Πρωτότυπο & quot? που αναπαράγει & quot? id & quot? (lewismc, snagel)
• nutch-1843 Αναβάθμιση σε Gora 0.5 (Ταλάτ, lewismc, Κίριλ Menshikov, drazzib)
• nutch-1883 bin / ανίχνευσης: λειτουργία χρήση για να τρέξει bin / κάναβο και να ελέγξετε την αξία εξόδου (snagel)
• nutch-στόχο 1882 μυρμηγκιού έκλειψη για να προσθέσετε το μονοπάτι εξόδου src / test (snagel)
• nutch-1827 Πορτ-nutch 1467 και nutch-1561 σε 2.x (snagel)
• nutch-1876 Αναβάθμιση σε Crawler Commons 0.5 (jnioche)
• nutch-1866 στόχος μυρμήγκι έκλειψη δεν θα πρέπει να διαγράψετε το χρόνο εκτέλεσης (nimafl μέσω lewismc)
• nutch-1859 Κάντε Nutch λιμάνι webapp ρύθμισης (Nima Falaki μέσω lewismc)
• nutch-1848 Bug στην DashboardPage.html περιπτώσεις μετρητή (Nima Falaki μέσω lewismc)
• nutch-841 Δημιουργήστε μια ανθρωποθυρίδα που βασίζεται στο Web Application για Nutch (Fjodor Vershinin μέσω lewismc)
• nutch-1832 Κάντε την εργασία Nutch χωρίς οδόντωση (mattmann μέσω lewismc)
• nutch-1840 η λειτουργία περιγράψει SolrIndexWriter δεν είναι σωστή (Kaveh minooie μέσω jnioche)
• nutch-1837 Αναβάθμιση σε Τίκα 1.6 (lewismc)
• nutch-1829 Γεννήτρια: σε θέση να διακρίνουμε τις πραγματικές λάθη (Mathieu Bouchard μέσω jnioche)
• nutch-1828 bin / ανίχνευσης: λανθασμένο χειρισμό των λαθών κάναβο (Mathieu Bouchard μέσω jnioche)
• nutch-1693 TextMD5Signature υπολογίζεται για το περιεχόμενο του κειμένου (Tien Nguyen Manh, Markus μέσω snagel)
• nutch-1409 αφαίρεση ξεπερασμένο ιδιότητες db. {προεπιλογή, max} .fetch.interval, generate.max.per.host.by.ip (Matthias Agethle μέσω snagel)
• nutch-1819 batchId σε GeneratorJob (Fjodor Vershinin μέσω lewismc)
• nutch-1708 id ίδια χρήση όταν ευρετηρίαση και τη διαγραφή ανακατευθύνσεις (snagel)
• nutch-1817 Κατάργηση pom.xml από την πηγή (jnioche)
• nutch-1811 bin / nutch JUnit να χρησιμοποιήσετε JUnit 4 δρομέας δοκιμής (snagel)
• nutch-1776 διαδρομή Είσοδος εσφαλμένο αρχείο plugin.folder (Diaa μέσω snagel)
• nutch-1566 bin / nutch να επιτρέψει κενά σε μονοπάτια (tejasp, snagel)
• nutch-1605 ανιχνευτής τύπου MIME αναγνωρίζει xlsx ως αρχείο zip (snagel)
• nutch-385 Βελτίωση περιγραφή των ρυθμίσεων που αφορούν το νήμα για Λήψης (jnioche, Lufeng)
• nutch-1798 Crawl σενάριο δεν καλώντας την εντολή δείκτη σωστά (Aaron Bedward μέσω jnioche)
• nutch-1769 REST API refactoring (Fjodor Vershinin μέσω lewismc)
• nutch-1633 slf4j παρέχεται από Hadoop και δεν πρέπει να περιλαμβάνονται στο φάκελο εργασίας (Kaveh minooie μέσω jnioche)
• nutch-1787 ενημερωμένα και πλήρη σελίδα επισκόπησης API doc (snagel)
• nutch-1767 σταματήσει η ειδική μεταχείριση των & quot? params & quot? σε σχέση με τις συνδέσεις (snagel)
• nutch-1718 επαναπροσδιορίσει http.robots.agent όπως & quot? επιπλέον ονόματα & quot παράγοντα? (snagel, Tejas Patil, Ντάνιελ Kugel)

Οι
• nutch-1796 Βεβαιωθείτε Γκόρα οικοδόμοι αντικειμένου που χρησιμοποιείται ως αντίθετοι με άδειο κατασκευαστών (snagel μέσω lewismc)
• nutch-1590 [ΑΣΦΑΛΕΙΑ] Πλαίσιο ευπάθειας ένεση σε δημοσιευμένες Javadoc (jnioche)
• nutch-1736 δεν είναι δυνατή η λήψη της σελίδας, αν κεφαλίδα απόκρισης HTTP περιέχει Μεταφορά-Κωδικοποίηση: κατατμημένη (ysc μέσω jnioche)
• nutch-1782 NodeWalker να επιστρέψουν τρέχοντα κόμβο (Markus)
• nutch-1781 Ενημέρωση Gora - * - mapping.xml και gora.proeprties να αντανακλούν Gora 0.4 (lewismc)
• nutch-1768 Αναβάθμιση σε ElasticSearch 1.1.0 (jnioche)
• nutch-1634 -stats readdb δείχνει το αποτέλεσμα δύο φορές (Kaveh minooie μέσω jnioche)
• nutch-1780 TTL και gc_grace_seconds χαρακτηριστικά λείπουν από το αρχείο Γκόρα-Κασσάνδρα-mapping.xml (Kaveh minooie μέσω lewismc)
• nutch-1676 Προσθήκη υποτυπώδη υποστήριξη SSL στο πρωτόκολλο http (jnioche, Markus)
• nutch-1674 Χρήση batchId φίλτρο για να ενεργοποιήσετε σάρωσης (GORA-119) για την ευρύτητα, μαϊντανός, Ενημέρωση, Ευρετήριο (Tien Nguyen Manh και Alparslan Αβτζί μέσω jnioche)
• nutch-1714 Αναβάθμιση σε Gora 0.4 (Alparslan Αβτζί μέσω jnioche)
• nutch-1752 κανόνες Cache robots.txt ανά πρωτόκολλο: host: port (snagel)
• nutch-1613 Χρονικά όρια στο πρωτόκολλο httpclient όταν σέρνεται ίδιο υποδοχής & gt? 2 θέματα (brian44 μέσω jnioche)
• nutch-1182 fetcher να συνδεθείτε αναρτώνται θέματα (snagel)
• nutch-1618 Turn off κερδοσκοπικές εκτέλεσης για την Ανάκτηση (Ταλάτ)
• nutch-1657 ORIGINAL_CHAR_ENCODING και CHAR_ENCODING_FOR_CONVERSION ποτέ δεν πάτησε στο HTMLParser (Ταλάτ)
• μειωτήρα nutch-1725 CleaningJob του δεν δεσμεύει τα διαγραμμένα docs. (ilhamikalkan μέσω Ταλάτ)
• nutch-1728-ευρετήριο SOLR plugin δεν έχει διαγράψει από το Docs SOLR (ilhamikalkan μέσω Ταλάτ)
• nutch-1753 Eclipse πρόβλημα εξάρτησης, για 2.x (Ταλάτ)
• nutch-1720 διπλές γραμμές σε HttpBase.java (Walter Tietze μέσω jnioche)
• nutch-797 URL δεν είναι σωστά κατασκευασμένη, όταν στόχος του συνδέσμου ξεκινά με & quot?; & quot? (Doug Cook, ο Robert Hohman, Stondet, ab μέσω snagel)
• nutch-1759 Αναβάθμιση σε Crawler Commons 0.4 (jnioche)
• nutch-1700 Αφαίρεση αποδοκιμαστεί κώδικα στον κατάλογο src / plugin / CreativeCommons / build.xml (lewismc)
• nutch-1761 Crawl σενάριο αποτύχει να βρουν δουλειά, αν το αρχείο δεν έχει ξεκινήσει από το εσωτερικό κάδο dir (David Hosking, jnioche)
• nutch-1603 Ταχυδρομικός parser παραπονιέται για περικομμένα αρχείο PDF (snagel μέσω lewismc)
• nutch-1743 parsechecker να δείξει outlinks (snagel)
• nutch-1732 Καλύτερη γραμμή cmd parsing για NutchServer (Fjodor Vershinin μέσω lewismc)
• nutch-1751 Κενές άγκυρες δεν πρέπει δείκτης (Sertac Turkel μέσω lewismc)
• nutch-1733-αναλύσει html για την υποστήριξη HTML5 ορισμούς charset (snagel)
• nutch-1727 Διαμορφώσιμο μήκους για τομείς ανωτάτου επιπέδου (Sertac Turkel μέσω lewismc)
• nutch-1738 εκθέτουν τον αριθμό των διευθύνσεων URL που παράγονται ανά παρτίδα στην GeneratorJob (Ταλάτ UYARER μέσω ewismc)
• nutch-1671 indexchecker να προσθέσετε χωνέψει τομέα (snagel, Lufeng)
• nutch-1645 JUnit πηγαίο τεστ για Adaptive Λήψη κατηγορία Πρόγραμμα (Yasin Kilinc, Lufeng, Sertac Urkel μέσω snagel)
• nutch-1478-μαϊντανός μεταετικέτες και plugin δείκτη μεταδεδομένα για τη σειρά 2.x Nutch (kiran, Nguyen Tien άν, UYARER Ταλάτ, ο Βαγγέλης Καρβούνης μέσω lewismc)
• nutch-1729 Αναβάθμιση σε 1,5 Τίκα (jnioche)
• nutch-1721 Αναβάθμιση σε ανιχνευτή κοινή 0.3 (tejasp)
• nutch-1719 DomainStatistics αποτυγχάνει σε 2.x επειδή η διεύθυνση URL δεν είναι ανεστραμμένη (Gerhard Gossen μέσω lewismc)
• nutch-1253 μη συμβατά Neko και Xerces εκδόσεις (snagel, lewismc, Ταλάτ UYARER)
• nutch-1715 RobotRulesParser προσθέτει επιπλέον «*» στο όνομα ρομπότ (tejasp)
• nutch-356 Plugin αποθετήριο cache μπορεί να οδηγήσει σε διαρροή μνήμης (Enrico triolo, Dogacan Guney μέσω Markus)
• nutch-1164 δοκιμές Γράψτε JUnit για το πρωτόκολλο http-(Sertac Turkel μέσω tejasp)
• nutch-1710 Προσθήκη Gora πακέτο υλοτομία σε log4j.properties (lewismc)
• nutch-1655 ευρετήριο Plugin για Ελαστικές αναζήτησης (Ταλάτ UYARER μέσω lewismc)
• nutch-1699 Τίκα Αναλυτής - μαϊντανός εικόνας Bug (Mehmet Zahid Yuzuguldu, snagel μέσω lewismc)
• nutch-1568 λιμάνι pluggable αρχιτεκτονική ευρετηρίασης σε 2.x (Ταλάτ UYARER μέσω lewismc)

Οι
• nutch-1672 inlinks προστίθενται δύο φορές σε DbUpdateReducer (Tien Nguyen Manh μέσω lewismc)
• nutch-1667 updatedb πάντα αγνοούν batchId (Tien Nguyen Manh μέσω lewismc)
• nutch-1695 NutchDocument.toString () (Markus μέσω lewismc)
• nutch-1696 επιτρέπουν τη χρήση του (Gora) εξαρτήσεις ΣΤΙΓΜΙΟΤΥΠΟ (lewismc)
• nutch-1681 Σε URLUtil.java, μέθοδος toUNICODE δεν λειτουργεί σωστά (Α
  17 Jul 15