Συλλογικός προγραμματισμός: eradio-playlist-generator

[simosx]

@pmav: Πρόσθεσα τον κώδικά σου.
Πρόσθεσα και .gitignore για τα παραγόμενα αρχεία (.pls, xspf).

https://github.com/ubuntu-gr/eradio-pla ... a412c0f92c

[sv1jsb]

Χρησιμοποιώ τον κώδικα του pmav και για το δεύτερο url και συνεχώς παίρνω 404.
Το ίδιο συμβαίνει και άμα το ανοίξεις με τον browser.
Χρησιμοποίησα την urllib2 και πρόσθεσα στους headers τα Referer και User-agent, πάλι το ίδιο.
Με τον μόνο τρόπο που κατάφερα να κατεβάσω την δεύτερη url ήταν με wget -p.
Σίγουρα έχει να κάνει με το ότι είναι μέσα στο iframe και ότι είναι asp, το βλέπει μάλλον διαφορετικά ο IIS και με κανονικό GET επιστρέφει 404.
Για να δούμε αν θα βρούμε λύση και να μην καταφύγουμε σε wget, γιατί ο κώδικας του pmav δουλεύει άψογα.

[simosx]

Χρησιμοποιώ τον κώδικα του pmav και για το δεύτερο url και συνεχώς παίρνω 404.
Το ίδιο συμβαίνει και άμα το ανοίξεις με τον browser.
Χρησιμοποίησα την urllib2 και πρόσθεσα στους headers τα Referer και User-agent, πάλι το ίδιο.
Με τον μόνο τρόπο που κατάφερα να κατεβάσω την δεύτερη url ήταν με wget -p.
Σίγουρα έχει να κάνει με το ότι είναι μέσα στο iframe και ότι είναι asp, το βλέπει μάλλον διαφορετικά ο IIS και με κανονικό GET επιστρέφει 404.
Για να δούμε αν θα βρούμε λύση και να μην καταφύγουμε σε wget, γιατί ο κώδικας του pmav δουλεύει άψογα.

Θέλει το δεύτερο URL; Ή το αποτέλεσμα είναι πάντα της μορφής «http://www.e-radio.gr/asx/$cn.asx»;
Μπορείς να το διαπιστώσεις;

[pmav99]

Για δοκίμασε με αυτό:

Κώδικας: Επιλογή όλων


class Spider(HTMLParser):
def __init__(self, url):
HTMLParser.__init__(self)

self.src = ""
self.url = ""

req = urllib.urlopen(url)
self.feed(req.read())

def handle_starttag(self, tag, attrs):
if tag == "iframe":
for attr in attrs:
if attr[0] == "src" and attr[1].startswith("playerX"):
self.src = attr[1]
elif tag == "embed":
for attr in attrs:
if attr[0] == "src" and attr[1].startswith("http"):
self.url = attr[1]

Δημιουργείς ένα νέο instance της Spider με url αυτό που πήρες από το πρώτο. To δεύτερο url θα είναι στο attribute url της νέας instance. Τα ονόματα των attributes μάλλον πρέπει να τα αλλάξουμε σε κάτι πιο αντιπροσωπευτικό.

[sv1jsb]

Αυτό είναι το πρόβλημα. Κι εγώ έτσι το κάνω, με νέο instance. Και επιστρέφει 404. Έχει να κάνει με τα cookies, απ' ότι είδα με το wget -p -d.
Αν κάνουμε δεύτερο request, μάλλον, το υπολογίζει σαν άλλο session και τα cookies που τα έχω πάρει και τα έχω σώσει από το πρώτο request δεν γίνονται δεκτά στο δεύτερο και επιστρέφει 404.
Χρησιμοποιώ urllib2, cookielib.

[medigeek]

Θέλει το δεύτερο URL; Ή το αποτέλεσμα είναι πάντα της μορφής «http://www.e-radio.gr/asx/$cn.asx»;
Μπορείς να το διαπιστώσεις;

viewtopic.php?f=6&t=19323&start=20#p197089

Χρειαζόμαστε το cname και το weblink. Το weblink υποθέτω είναι για αυτά που βρισκονται σε άλλη ιστοσελίδα, εκτός του e-radio.gr.
Δεν είμαι σίγουρος αν υπάρχει τέτοιος ραδιοσταθμός στη λίστα, αλλά είναι πιθανό. Πρέπει να περάσουμε από όλη τη λίστα για να είμαστε σίγουροι.

commit b314d12e1850bf8584b613c4383f43357f336878
Author: Savvas Radevic
Date: Thu Jul 7 22:01:06 2011 +0200

* Moved docstrings to top of each method
* Created debug print(): Radio link retrieval
* Added weblink to stationname dictionary

:100755 100755 417aa7e... 3380b47... M playlist-generator.py

[pmav99]

Χρειαζόμαστε και δεύτερο dictionary? Γιατί να έχουμε stationname και να μην τα προσθέσουμε στο stations? Επίσης το if match .. else καλύτερα να γίνει try ...except.

Κώδικας: Επιλογή όλων


def get_radiostation_files(self):
url_main = u"http://www.e-radio.gr/player/player.el.asp?sid="
rxstr = r"playerX.asp\?sID=(?P<sid>\d+)&cn=(?P<cn>[^&]*)&weblink="
rx = re.compile(rxstr)
i = 0
for station in self.stations:
url_station = url_main + station["id"]
spider = Spider(url_station)
match = rx.search(spider.src)
if match:
station.update(match.groupdict())
else:
print("Error in parsing radio station:", src)
sys.exit(-1)

# Για 4 σταθμούς μόνο, για τη δοκιμή μας.
i = i + 1
if i > 3:
break

[sv1jsb]

Τώρα το είδα το λάθος: από το πρώτο parse επιστρέφει playerX.asp?sID=1197&cn=alfaserres&weblink=
αλλά το σωστό url είναι player/playerX.asp?sID=1197&cn=alfaserres&weblink=
οπότε όλο το url είναι

Κώδικας: Επιλογή όλων


http://www.e-radio.gr/player/playerX.asp?sID=1197&cn=alfaserres&weblink=


Ωραία τώρα έχουμε το url.
Το παραπάνω επιστρέφει, αφού το κάνουμε parse για το src στο embed tag:

Κώδικας: Επιλογή όλων


http://www.e-radio.gr/asx/alfaserres.asx


Αυτό τώρα, μπορούμε να το βάλουμε στο pls ή στο xspf;

[simosx]

Χρειαζόμαστε και δεύτερο dictionary? Γιατί να έχουμε stationname και να μην τα προσθέσουμε στο stations?

Νομίζω ότι είναι list, αντί για dict, έτσι δεν είναι;

Κώδικας: Επιλογή όλων


[{'logo': u'/logos/gr/mini/nologo.gif', 'title': u'\u0386\u03bb\u03c6\u03b1 Radio 96', 'id': u'1197', 'city': u'\u03a3\u0395\u03a1\u03a1\u0395\u03a3'}, ...

Δε θα ήταν καλύτερο να είχαμε dict, της μορφής

Κώδικας: Επιλογή όλων


['1197': { 'logo': u'/logos/gr/mini/nologo.gif', 'title': u'\u0386\u03bb\u03c6\u03b1 Radio 96', 'city': u'\u03a3\u0395\u03a1\u03a1\u0395\u03a3'}, ... ]

[simosx]

Το http://www.e-radio.gr/asx/alfaserres.asx περιέχει

Κώδικας: Επιλογή όλων

<ASX Version="3">
<TITLE>Alfa Radio 96 - SERRES</TITLE>
<ABSTRACT>Member of E-Radio.gr</ABSTRACT>
<ENTRY>
<REF HREF = "http://s2.onweb.gr:8624"/>
<REF HREF = "mms://s2.onweb.gr:8624"/>
</ENTRY>
</ASX>


όπου τώρα μόνο το http://s2.onweb.gr:8624 λειτουργεί.