robots.js - ελεύθερο λογισμικό κατεβάσετε για Web

robots.js 0.9.4

Μπορεί να χρησιμοποιηθεί για να τραβήξει έξω τα στοιχεία από το αρχείο robots.txt και ζωοτροφών σε άλλες εφαρμογές ή στατιστικά εργαλεία.Θα εξάγει URL στόχο, λόγο για την πρόσβαση και την κατάσταση των δεδομένων Τι είναι καινούργιο σε αυτή την...