Spidr

Το σενάριο μπορεί να εκτελεστεί σε μία μόνο σελίδα, ιστοσελίδα, πολλαπλούς τομείς ή ακόμη και μη-stop.
Spidr έχει σχεδιαστεί για να είναι γρήγορο και εύκολο στη χρήση

Χαρακτηριστικά :.

• Επαναφέρετε την ουρά spidering και την ιστορία από μια προηγούμενη περίοδο .
• Προσαρμοσμένη χορδές User-Agent.
• Προσαρμοσμένες ρυθμίσεις proxy.
• HTTPS υποστήριξη.


• ακολούθως:
• a ετικέτες.
• ετικέτες iframe.
• ετικέτες πλαισίου.
• Cookie προστατεύεται συνδέσεις.
• HTTP 300, 301, 302, 303 και 307 ανακατευθύνσεις.
• Meta-Ανανέωση ανακατευθύνσεις.
• βασικού ελέγχου ταυτότητας HTTP προστατεύεται συνδέσεις.


• Μαύρη λίστα ή λευκή λίστα διευθύνσεων URL με βάση:
• σχήμα URL.
• όνομα υπολογιστή
• Ο αριθμός θύρας
• Πλήρης σύνδεσμο
• επέκταση URL


• Παρέχει κλήση-πλάτες για:
• Κάθε σελίδα που επισκεφθήκατε.
• Κάθε διεύθυνση URL που επισκεφτήκατε.
• Κάθε διεύθυνση URL που επισκεφτήκατε το οποίο αντιστοιχεί σε ένα συγκεκριμένο μοτίβο.
• Κάθε προέλευσης και προορισμού URI ενός συνδέσμου.
• Κάθε διεύθυνση URL που δεν είναι επισκέψιμο.


• Παρέχει μεθόδους δράσης για:
• Παύση spidering.
• Μετάβαση επεξεργασία των σελίδων.
• Μετάβαση επεξεργασία των συνδέσμων.

Τι είναι καινούργιο σε αυτή την έκδοση:

• Πιάσε OpenSSL :: SSL :: εξαιρέσεις SSLError όταν ξεκίνησε HTTPS Συνεδρίες.