link crawler

[Alexandros]

Ξέρετε κανέναν link crawler για το ubuntu;

Π.χ. έχουμε ένα forum για ρεμπέτικα το οποίο δημοσιεύει διάφορα τραγούδια με link στο rapidshare.

Επειδή εγώ τα θέλω όλα, αντί να κάνω copy-paste κάθε link ξεχωριστά, να δώσω εντολή στην εφαρμογή να αντιγράψει όλα τα rapishare links που υπάρχουν στο συγκεκριμένο forum/domain. Οπότε μετά τα περνάω σε έναν download manager και καθάρισα!

Έχετε καμιά ιδέα;

[chazisop]

Εγώ θα πρότεινα τη λύση ενός script.

Θα καλείται με όρισμα ένα αρχείο π.χ. html και θα σκανάρει το περιεχόμενο του για url , με τη χρήση της grep ... πχ αν βρίσκει μια λέξη που περιέχει μέσα "http" ή "www" ...

Αν βρεί κάτι , είτε θα μπορεί κατευθείαν μέσω pipe να στέλνει τα url? (το ? είναι εσκεμμένο) στον download manager , και να αφήνεις τον manager να σου πετάει μήνυμα αν τυχόν δεν είναι link ... Αυτό βολεύει για μεγάλο αριθμό links σε 1 αρχείο , και αν το φίλτρο (πες με κανονική έκφραση) που 8α χρησιμοποιείς για να βρεις τα url είναι καλό , δε θα έχεις πρόβλημα.

Αν πρόκειται για λίγα links , μια πιο ασφαλής λύση είναι να τα αποθηκεύει σε ένα αρχείο κειμένου και από εκεί αφού το ανοίξει με gedit για επεξεργασία ώστε ο χρήστης χειροκίνητα να αφαιρέσει ότι δε θέλει , να τα στέλνει στον download manager...

[Alexandros]

Ευχαριστώ αλλά δεν έχω την παραμικρή ιδέα απο scripts!

[ftso]

Ρίξε πάντως και καμιά ματιά στο http://sourceforge.net/
όλο και κάτι θα υπάρχει

[chazisop]

Στα αποθετήρια (όλες οι εφαρμογές , δεν είναι εφαρμογή που υποστηρίζεται από την Canonical) βρήκα ένα πρόγραμμα που λέγεται gURLchecker.

Ίσως είναι αυτό που ζητάς , απ' ότι είδα έχει αρκετές προηγμένες ικανότητες. Εδώ και το site τους. http://gurlchecker.labs.libre-entreprise.org/