Scrapy

Σκράπι είναι γραμμένο το 100% σε Python και μπορούν να χρησιμοποιηθούν για απλές εξόρυξη δεδομένων, στη σελίδα παρακολούθησης, οι μηχανές αναζήτησης στο Web, ακόμη και για τον έλεγχο κώδικα.
Scrapy δεν είναι μια μηχανή αναζήτησης με την πραγματική έννοια του όρου, αλλά δρα σαν ένα (χωρίς το μέρος ευρετηρίασης). Παρ 'όλα αυτά scrapy μπορεί να είναι ένα μεγάλο εργαλείο για να χτίσει τη λογική μηχανή αναζήτησης σας.
Η πραγματική δύναμη του πλαισίου αυτού βασίζεται στην ευελιξία του πυρήνα του, scrapy είναι ένα σύστημα στο οποίο θα οικοδομηθεί γενικό ή ειδικό αράχνες αναζήτησης (crawlers) για.
Ενώ αυτό μπορεί να ακούγεται πολύ περίπλοκο για να μη τεχνικούς χρήστες, με μια γρήγορη ματιά πάνω από την τεκμηρίωση και τα διαθέσιμα σεμινάρια, είναι αρκετά απλό να δούμε πώς scrapy έχει καταφέρει να πάρουν όλη τη σκληρή εργασία έξω από αυτό και να μειώσει την όλη διαδικασία σε μόλις λίγες γραμμές κώδικα (για την ευκολότερη και μικρότερα crawlers)

Τι είναι καινούργιο σε αυτή την έκδοση:.

• αιτήματος unquote μονοπάτι πριν από τη διοχέτευση σε FTPClient, ήδη στους διαδρόμους διαφυγής.
• Συμπεριλάβετε δοκιμές / να προμηθεύονται διανομής σε MANIFEST.in.

Τι είναι καινούργιο στην έκδοση 1.0.1:

• unquote αίτημα της διαδρομής πριν από τη διοχέτευση σε FTPClient, ήδη διαδρόμους διαφυγής.
• Συμπεριλάβετε δοκιμές / να προμηθεύονται διανομής σε MANIFEST.in.

Τι είναι καινούργιο στην έκδοση 0.24.6:

• Προσθήκη UTF8 κωδικοποίηση κεφαλίδα templates
• Telnet κονσόλα συνδέεται πλέον με 127.0.0.1 από προεπιλογή
• Ενημέρωση debian / ubuntu οδηγίες εγκατάστασης
• Απενεργοποίηση έξυπνη χορδές στις αξιολογήσεις lxml XPath
• Επαναφορά αρχείων cache βασίζεται ως προεπιλογή για το HTTP cache middleware
• Expose τρέχον πρόγραμμα ανίχνευσης στο κέλυφος scrapy
• Βελτίωση testsuite σύγκριση CSV και XML εξαγωγείς
• Νέα οφσάιτ / φιλτράρεται και εκτός τόπου / περιοχές στατιστικά
• process_links Υποστήριξη ως γεννήτρια σε CrawlSpider

Τι είναι καινούργιο στην έκδοση 0.24.5:

• Προσθήκη UTF8 κωδικοποίηση κεφαλίδα templates
• Telnet κονσόλα συνδέεται πλέον με 127.0.0.1 από προεπιλογή
• Ενημέρωση debian / ubuntu οδηγίες εγκατάστασης
• Απενεργοποίηση έξυπνη χορδές στις αξιολογήσεις lxml XPath
• Επαναφορά αρχείων cache βασίζεται ως προεπιλογή για το HTTP cache middleware
• Expose τρέχον πρόγραμμα ανίχνευσης στο κέλυφος scrapy
• Βελτίωση testsuite σύγκριση CSV και XML εξαγωγείς
• Νέα οφσάιτ / φιλτράρεται και εκτός τόπου / περιοχές στατιστικά
• process_links Υποστήριξη ως γεννήτρια σε CrawlSpider

Τι είναι καινούργιο στην έκδοση 0.22.0:

• Μετονομασία scrapy.spider.BaseSpider να scrapy.spider .Spider
• Προώθηση της εκκίνησης πληροφορίες σχετικά με τις ρυθμίσεις και middleware στο επίπεδο INFO
• partials Υποστήριξη σε get_func_args util
• Να επιτρέπεται σε λειτουργία ατομικών δοκιμών μέσω tox
• Ενημέρωση επεκτάσεων αγνοούνται από απαγωγείς σύνδεσμο
• Επιλογείς εγγραφή ονομάτων EXSLT από προεπιλογή
• Ενοποίηση στοιχείο φορτωτές παρόμοια με επιλογείς μετονομασία
• Κάντε κατηγορία RFPDupeFilter εύκολα subclassable
• Βελτίωση της κάλυψης των δοκιμών και επικείμενη Python 3 υποστήριξης

Τι είναι καινούργιο στην έκδοση 0.20.1:

• include_package_data απαιτείται για την κατασκευή τους τροχούς από δημοσιευμένες πηγές.

Τι είναι καινούργιο στην έκδοση 0.18.4:.

• Διορθώθηκε AlreadyCalledError αντικαθιστώντας ένα αίτημα στην εντολή κελύφους
• Σταθερή start_requests lazyness και στις αρχές του κρέμεται.

Τι είναι καινούργιο στην έκδοση 0.18.1:.

• Αφαιρέθηκε επιπλέον εισαγωγής προστεθεί από κεράσι διάλεξε αλλαγές
• Σταθερή σέρνεται δοκιμές υπό στριμμένα προ 11.0.0.
• py26 Δεν μπορείτε να διαμορφώσετε το μηδέν πεδία μήκος {}.
• Test PotentiaDataLoss λάθη στο αδέσμευτο απαντήσεις.
• Αντιμετωπίστε απαντήσεις χωρίς περιεχόμενο μήκους ή Transfer-Encoding τόσο καλή απαντήσεις.
• Μήπως δεν περιλαμβάνουν ResponseFailed αν http11 χειριστής δεν είναι ενεργοποιημένη.

Απαιτήσεις :

• Python 2.7 ή νεότερη έκδοση
• Twisted 2.5.0 ή νεότερη έκδοση
• libxml2 2.6.28 ή νεότερη
• pyOpenSSL