Τα πάντα για την Python

[pmav99]

Άντε μιας και το ανοίξαμε το θέμα.

Αν ξέρεις fortran, το f2py είναι καλό και σχετικά απλό. Ιδίως αν το bottleneck είναι μία ή δύο συναρτήσεις (με loops γιατί αυτά είναι αργά στην python). Επίσης, αν και δεν το έχω δοκιμάσει πρέπει να βολεύει για να χρησιμοποιήσεις legacy fortran code. Από πλευράς development νομίζω ότι είναι σχετικά παρατημένο.

Τουλάχιστον όσον αφορά τον αριθμό των project που τη χρησιμοποιούν, η Cython σήμερα είναι η κυρίαρχη επιλογή. Αναπτύσσεται ενεργά και μπορεί να χρησιμοποιηθεί πάντα. Στην πραγματικότητα είναι μία ξεχωριστή γλώσσα από την Python. Ένα υπερσύνολο της python για την ακρίβεια, στο οποίο μπορείς να δηλώσεις τύπους μεταβλητών, ώστε να μπορεί να κάνει ο compiler optimizations. Το κακό είναι ότι έτσι, ο κώδικας δεν είναι συμβατός με την Python, οπότε αν χρησιμοποιείς την Python για το development του αλγόριθμου, πρέπει ότι αλλαγές κάνεις να τις περνάς και στα δύο codebases. Αν τη χρησιμοποιείς μόνο για τα bottlenecks της εφαρμογής (όπως είναι και το σωστό) δεν είναι ιδιαίτερο πρόβλημα.
Υπάρχει και το λεγόμενο "pure python mode" το οποίο είναι εξαιρετικά βολικό γιατί σου επιτρέπει να μην πειράξεις καθόλου τον κώδικα σου (οπότε τρέχει κανονικά με απλή python). Δηλώνεις μόνο τα headers των συναρτήσεων σου και τους τύπους των μεταβλητών τους σε ένα ξεχωριστό αρχείο. Τουλάχιστον μέχρι τα Χριστούγεννα περίπου που το είχα τσεκάρει τελευταία φορά, είχε κάποιες περιορισμούς το mode αυτό αλλά στις συνήθεις περιπτώσεις ήταν οκ.

O Nuitka είναι πιο καινούριος και πιο φιλόδοξος από τα άλλα. Στοχεύει σε 100% compatibility με τον κώδικα της python κάτι το οποίο σε μεγάλο βαθμό το έχει επιτύχει. Αναπτύσσεται ενεργά, αλλά ακόμα "στήνεται" η υποδομή και δεν εχει δωθεί έμφαση στην ταχύτητα. Αν πετύχει τους στόχους, του θα είναι υπέροχο

Απαραίτητο σε όλα αυτά είναι να υπάρχουν tests γιατί υπάρχει περίπτωση ο compiled κώδικας να μη δίνει ακριβώς τα ίδια αποτελέσματα με τον κώδικα της "καθαρής" python. Την είχα πατήσει μια φορά με ένα unsigned int στη cython

[pmav99]

http://arxiv.org/abs/1202.2736

[Ilias95]

Χρησιμοποιώντας το module subprocess μπορούμε να εκτελέσουμε μια εντολή για μετατροπή video μέσω του ffmpeg:

Κώδικας: Επιλογή όλων

import subprocess, shlex

cmd = 'ffmpeg -y -i /foo/bar.mpeg /foo/bar.flv'
subprocess.Popen(shlex.split(cmd))

Αν τρέξουμε τον παραπάνω κώδικα (αλλάζοντας φυσικά τα ονόματα των αρχείων) θα δούμε ότι θα βλέπαμε αν τρέχαμε σκέτη την εντολή στο τερματικό.
Δηλαδή θα βλέπουμε την έξοδο του ffmpeg η οποία θα ανανεώνεται συνεχώς μέχρι να τελειώσει η μετατροπή.

Το να κρατήσουμε αυτή την έξοδο σε μία μεταβλητή σε ένα πρόγραμμα είναι πολύ εύκολο.
Υπάρχει όμως κάποιος τρόπος να παίρνουμε την έξοδο και να την χρησιμοποιούμε ενόσω η μετετροπή είναι σε εξέλιξη;

Συγκεκριμένα το ffmpeg μας δίνει συνεχώς στην έξοδο του σε ποιο χρονικό σημείο μετατροπής του video που του δώσαμε βρίσκεται (πχ. time=3.80).
Θέλω να παίρνω αυτό το χρονικό σημείο κατά τη διάρκεια της μετατροπής ώστε να μπορώ να υπολογίζω και να εμφανίζω την πρόοδο, ενώ η μετατροπή βρίσκεται σε εξέλιξη.

Καμιά ιδέα;
Ευχαριστώ εκ των προτέρων.

[clepto]

ίσως αν χρησιμοποιείς κάτι σαν

Κώδικας: Επιλογή όλων

while process.poll() is None:
και εδω να αποθηκευεις την εξοδο σε μεταβλητη

είναι η subprocess επιστρέφει None όταν η διεργασία δεν έχει τελειώσει ακόμα

[Ilias95]

ίσως αν χρησιμοποιείς κάτι σαν

Κώδικας: Επιλογή όλων

while process.poll() is None:
και εδω να αποθηκευεις την εξοδο σε μεταβλητη

είναι η subprocess επιστρέφει None όταν η διεργασία δεν έχει τελειώσει ακόμα

Ακριβώς αυτό είναι το πρόβλημα μου.
Πως ακριβώς θα αποθηκεύσω την έξοδο σε μεταβλητή;

Αν κρατήσω τα stdout, stderr από την διεργασία μπορώ να τα διαβάσω μόνο όταν αυτή τελειώσει.

[clepto]

κοίτα αυτό μήπως βοηθήσει http://stackoverflow.com/questions/4417 ... is-running

[Ilias95]

κοίτα αυτό μήπως βοηθήσει http://stackoverflow.com/questions/4417 ... is-running

Δυστυχώς δεν μπορώ να πάρω το επιθυμητό αποτέλεσμα με κάποιο απ' τα code samples που δίνονται. :/

[medigeek]

Το να κρατήσουμε αυτή την έξοδο σε μία μεταβλητή σε ένα πρόγραμμα είναι πολύ εύκολο.
Υπάρχει όμως κάποιος τρόπος να παίρνουμε την έξοδο και να την χρησιμοποιούμε ενόσω η μετετροπή είναι σε εξέλιξη;

Δεν είχαμε αναλύσει και λύσει παλιά με παραδείγματα αυτό που ζητάς; Μου φαίνεται πολύ γνωστό...
Edit: Αυτό εδώ; http://forum.ubuntu-gr.org/viewtopic.ph ... 67#p219467

[clepto]

είχαμε αναλύσει για την έξοδο της subprocess αλλά τότε λέγαμε αφού έχει τελειώσει νομίζω...
όχι καθώς τρέχει

[medigeek]

Μήπως αυτό εδώ; http://stackoverflow.com/questions/4417 ... is-running
ή αυτό; http://stackoverflow.com/questions/2525 ... ess-output
Εδώ αναφέρει πως το κάνει με threading: http://stackoverflow.com/questions/9849 ... m-a-thread