urlclean

urlclean παρέχει τις ακόλουθες λειτουργίες:
- Να ακολουθούν μια ανακατεύθυνση HTTP,
- Να ακολουθήσουν μια μετα-HTML ανακατεύθυνση,
- Να αφαιρέσετε Αχινός και το Facebook παραμέτρους tracker URL
- Που συνδυάζει όλα αυτά να unshorten και επίλυση διαφόρων URLS
Δοκιμάστε το από τη γραμμή εντολών:
& Nbsp? Python -m urlclean <κάποια url>
Περιεχόμενα:
Δείκτες και πίνακες
- Δείκτης
- Δείκτης Ενότητα
- Αναζήτηση Σελίδα
Τεκμηρίωση για τον κώδικα
urlcleaner μια μονάδα που επιλύει ανακατεύθυνση URL και αφαιρεί την παρακολούθηση params url
urlclean.weedparams (url)
& Nbsp? Αφαιρεί Αχινός Tracker και το Facebook params επιτήρησης από τις διευθύνσεις URL.
& Nbsp? ARGS:
& Nbsp? Url (str): Η διεύθυνση URL για να τρίψετε άσχημο params
& Nbsp? Επιστροφές:
& Nbsp? (Str). Η επιστροφή καθαρίζονται url
urlclean.httpresolve (url, ua = Κανένα, proxyhost = 'localhost', proxyport = 8118)
& Nbsp? Επιλύσει μια ανακατεύθυνση της αίτησης HTTP.
& Nbsp? ARGS:
& Nbsp? Url (str): Η διεύθυνση URL για να ακολουθήσει μια ανακατεύθυνση
& Nbsp? Ua (fn): Μια συνάρτηση που επιστρέφει ένα string Πράκτορας χρήστη (προαιρετικό)
& Nbsp? Proxyhost (str): http διακομιστή μεσολάβησης (προαιρετικό)
& Nbsp? Proxyport (int): http μεσολάβησης θύρα του διακομιστή (προαιρετικό)
& Nbsp? Επιστροφές: (οδός, httplib.response). Η επιστροφή επιλυθεί url, και
& Nbsp? Η απάντηση από το ερώτημα http
urlclean.unmeta (url, ΑΠΕ)
& Nbsp? Βρίσκει κάθε μετα ανακατευθύνει ένα αντικείμενο httplib.response που έχει text / html ως τύπο περιεχομένου.
& Nbsp? ARGS:
& Nbsp? Url (str): Η διεύθυνση URL για να ακολουθήσει μια ανακατεύθυνση
& Nbsp? Res (httplib.response): ένα αντικείμενο http.response
& Nbsp? Επιστροφές: (str). Η επιστροφή επιλυθεί url
urlclean.unshorten (url cache = Καμία, ua = Κανένα,>> ** <> **