PHPCrawl

Μπορεί να χρησιμοποιηθεί γραπτώς αντιολισθητικές αλυσίδες αναζήτησης (αράχνες) ότι ορυχείο ιστοσελίδες για διάφορες πληροφορίες.
PHPCrawl αποκτά πληροφορίες που έχει διαμορφωθεί για να φέρω και περνάει σε πιο ισχυρές εφαρμογές για περαιτέρω επεξεργασία

Χαρακτηριστικά :.

• Φίλτρα διεύθυνση URL και Content-Type δεδομένων
• Ορίστε τρόπους για να χειριστεί τα cookies
• Ορίστε τρόπους για να χειριστεί αρχεία robots.txt
• περιορίζουν τη δραστηριότητά της με διάφορους τρόπους

Τρόποι
• Multi-επεξεργασίας

Τι είναι καινούργιο σε αυτήν την έκδοση:

• Σταθερή σφάλματα:
• Σύνδεσμοι που εν μέρει urlencoded και εν μέρει δεν πάρει την ανοικοδόμηση / κωδικοποιηθεί σωστά τώρα.
• Αφαιρέθηκε μια περιττή debug var_dump () από PHPCrawlerRobotsTxtParser.class.php
• server-name-ένδειξη TLS / SSL λειτουργεί σωστά τώρα.
• & quot? Βάσης href & quot?. -tags Σε ιστοσελίδες να ερμηνευθεί σωστά τώρα πάλι

Τι είναι καινούργιο στην έκδοση 0.80 beta:

• Κωδικός πλήρως ανανεωμένος, μεταφερθεί και σε PHP5--ΟΟΟ κώδικα και πολλά κώδικας ξαναγράφεται.
• Προστέθηκε η δυνατότητα να χρησιμοποιήσουν τη χρήση πολλαπλών διεργασιών στην αράχνη μια ιστοσελίδα. Μέθοδος & quot? GoMultiProcessed () & quot? πρόσθεσε.
• Νέα μέθοδος overridable & quot? InitChildProcess () & quot? προστίθενται για την έναρξη των παιδιών διαδικασίες κατά τη χρήση του ανιχνευτή σε πολυ-επεξεργασία-mode.
• Implementet μια εναλλακτική, εσωτερική SQLite caching μηχανισμός για τις διευθύνσεις URL που καθιστούν δυνατή την αράχνη πολύ μεγάλες ιστοσελίδες.
• Μέθοδος & quot? SetUrlCacheType () & quot? πρόσθεσε.
• Νέα μέθοδος setWorkingDirectory () που προστίθεται για τον καθορισμό της θέσης των αντιολισθητικές αλυσίδες προσωρινής εργασίας-κατάλογο με το χέρι. Αυτών μέθοδος & quot? SetTmpFile () & quot? χαρακτηρίζεται ως παρωχημένο (δεν έχει πια καμία λειτουργία).
• Νέα μέθοδος & quot? AddContentTypeReceiveRule () & quot? αντικαθιστά την παλιά μέθοδο & quot? addReceiveContentType () & quot?.
• Η λειτουργία & quot? AddReceiveContentType () & quot? εξακολουθεί να είναι παρούσα, αλλά χαρακτηρίστηκε ως ξεπερασμένο.

Απαιτήσεις :

• PHP 5 ή νεότερη έκδοση
• PHP με υποστήριξη OpenSSL