robots.js 0.9.4

Μπορεί να χρησιμοποιηθεί για να τραβήξει έξω τα στοιχεία από το αρχείο robots.txt και ζωοτροφών σε άλλες εφαρμογές ή στατιστικά εργαλεία.Θα εξάγει URL στόχο, λόγο για την πρόσβαση και την κατάσταση των δεδομένων Τι είναι καινούργιο σε αυτή την...
Κατεβάστε το δωρεάν ROBOTS.JS για WEB (External Mirror (ZIP))
Κατεβάστε το δωρεάν ROBOTS.JS για WEB (External Mirror (TAR))

Συνιστώμενο λογισμικό για Web