Ανάκτηση διεγραμμένων αρχείων με την χρήση του foremost

[linuxman]

Υπάρχει κάποιος τρόπος να παρατηρώ την εργασία; Ανυσηχώ γιατί ακριβώς την ίδια αντίδραση είχε το πρόγραμμα και όταν το καλούσα με λάθος επιλογές! Όσο τρέχει ο επεξεργαστής μου είναι ακίνητος και κανένας δίσκος δεν δείχνει να δουλεύει...δεν είναι περίεργο αυτο...;

Εγώ το έκανα ποιο απλά .
Βγήκα από το γραφικό με Alt+Ctrl+F1 μπήκα μέσα σταμάτησα το γραφικό με

Κώδικας: Επιλογή όλων

sudo /etc/init.d/gdm stop

Έκανα ότι χρειάζεται για mount και έτρεξα την εντολή .
Την άλλη μέρα ότι έπρεπε τα βρήκε .

[dimamali]

Το πρόβλημα ήταν ότι δεν έτρεχα το πρόγραμμα ως root...noob...
Όπως και να έχει, το foremost πράγματι δεν υποστηρίζει mp3. Το PhotoRec όμως δούλεψε άψογα και γρήγορα. Φυσικά δεν κράτησε τα ονόματα των αρχείων αλλά ευτυχώς υπάρχουν τα ID3tags.
Ευχαριστώ πολύ!

[sokoban4ever]

Στο man page του foremost λέει ότι μπορείς να ορίσεις το τύπο αρχείου που ψάχνεις μεσω του header του και του ονόματος του

Κώδικας: Επιλογή όλων

man foremost  | grep -A 18 "       CONFIGURATION FILE"

Spoiler: show

Κώδικας: Επιλογή όλων

       CONFIGURATION FILE
              The  configuration file is used to control what types of files foremost searches for. A sample configuration file, foremost.conf, is included
              with this distribution. For each file type, the configuration file describes the file's extension, whether the header  and  footer  are  case
              sensitive,  the  maximum file size, and the header and footer for the file. The footer field is optional, but header, size, case sensitivity,
              and extension are not!

              Any line that begins with a pound sign is considered a comment and ignored. Thus, to skip a file type just put a pound sign at the  beginning
              of that line

              Headers  and  footers are decoded before use. To specify a value in hexadecimal use \x[0-f][0-f], and for octal use \[1-9][1-9][1-9].  Spaces
              can be represented by \s. Example: "\x4F\123\I\sCCI" decodes to "OSI CCI".

              To match any single character (aka a wildcard) use a ?. If you need to search for the ? character, you will need to change the wildcard  line
              *and*  every occurrence of the old wildcard character in the configuration file. Do not forget those hex and octal values! ? is equal to \x3f
              and \063.

              There is a sample set of headers in the README file.

Τα mp3 δεν είναι όλα ίδια ακριβώς αλλά έχουν το δικό τους pattern .. . Εξαρτάται από διάφορους παράγοντες
Πιθανόν αν τα αρχεία τα έκανε κάποιος encode με ένα συγκεκριμένο τρόπο θα έχουν όλα κάτι κοινό στο header ...
Τουλάχιστον αν τα αρχεία mp3 έχουν ID3 tags θα έχουν κάτι κοινό...
Τα ID3 tags σε αρχεία που είναι για streaming μπαίνουν στην αρχή του αρχείου ώστε να ξέρει το όνομα ο player που συνδέεται με τον streaming server
αλλά δεν μπαίνουν πάντα στην αρχή μπαίνουν και στο τέλος... εξαρτάται από αυτόν που θα τα κάνει encode...
Τα id3 tags περιέχουν frames με το όνομα του πχ καλλιτέχνη και άλλα δεδομένα...
πάντως όπου και να είναι είτε στην αρχή είτε στο τέλος μπορούν να εντοπιστούν αν υπάρχουν
Θα εξηγήσω,
για παράδειγμα:
σε ένα φάκελο τα headers αρχείων ήχου αναγνωρίζονται από την ύπαρξη και μόνο του ID3 tag τους το οποίο είναι ένα ομοιόμορφο ένα κοινό pattern σε όλα
πχ σε ένα φάκελο με αρχεία mp3 που έγιναν encode με το ίδιο πρόγραμμα με τις ίδιες παραμέτρους έκανα

Κώδικας: Επιλογή όλων

for i in *.mp3; do hexdump -C -n 16 $i;echo; done

και πήρα

Spoiler: show

Κώδικας: Επιλογή όλων

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010

00000000  49 44 33 03 00 00 00 00  0c 40 54 50 45 31 00 00  |ID3......@TPE1..|
00000010


αυτά τώρα με το foremost ( αλλά και με άλλα προγράμματα ) γίνεται στο configutation αρχείο τους να δώσεις
το header το hex pattern ας πούμε καθώς έιναι στάνταρντ
δηλαδή
το 49 44 33 03 00 00 00 00 0c 40 54 50 45 31 00 00 η σε δεκαεξαδική αναπαράσταση για το foremost.conf
πχ
\x49\x44\x33\x03\x00\x00\x00\x00\x0c\x40\x54\x50\x45\x31\x00\x00
προφανώς για παραπέρα bytes κάθε αρχείο είναι διαφορετικό από το άλλο και δεν μας αφορα.

Σε κάποια άλλα αρχεία mp3 που έχω πχ διαφέρουν αλλα το 49 44 33 είναι στάνταρτ (λόγω του ID3 )
πχ

Κώδικας: Επιλογή όλων

00000000  49 44 33 04 00 00 00 00  00 16 54 45 4e 43 00 00  |ID3.......TENC..|

Κώδικας: Επιλογή όλων

00000000  49 44 33 03 00 00 00 00  12 47 54 4c 41 4e 00 00  |ID3......GTLAN..|

Κώδικας: Επιλογή όλων

00000000  49 44 33 03 00 00 00 01  3f 76 54 41 4c 42 00 00  |ID3.....?vTALB..|

Στο /etc/foremost/conf
έχει πχ για τις png εικόνες σε comments

# PNG (used in web pages)
# (NOTE THIS FORMAT HAS A BUILTIN EXTRACTION FUNCTION)
# png y 200000 \x50\x4e\x47? \xff\xfc\xfd\xfe

και πράγματι οι png είναι πολύ εύκολο να τις εντοπίσει κανείς
πχ το

Κώδικας: Επιλογή όλων

hexdump -C -n 16 .qdvdauthor/history1.png

δίνει
00000000 89 50 4e 47 0d 0a 1a 0a 00 00 00 0d 49 48 44 52 |.PNG........IHDR|
και το

Κώδικας: Επιλογή όλων

hexdump -C -n 16 ./Firefox_wallpaper.png

δίνει
00000000 89 50 4e 47 0d 0a 1a 0a 00 00 00 0d 49 48 44 52 |.PNG........IHDR|

Στο /etc/foremost.conf δίνει παραδείγματα για την σύνταξη που θέλει το αρχείο που θα χρησιμοποιήσει κανείς για να βρεί τα αρχεία του
Είναι δυνατόν να προσθέσεις και διαφορετικά headers να καθορίζουν το ίδιο format
πχ όπως βλέπετε στο foremost.conf
λέει για τα MPEG video 3 περιπτώσεις

Κώδικας: Επιλογή όλων

# MPEG Video
#       mpg     y       4000000 mpg     eof
#       mpg     y       20000000 \x00\x00\x01\xba      \x00\x00\x01\xb9
#       mpg     y       20000000 \x00\x00\x01\xb3       \x00\x00\x01\xb7

επίσης το footer (δεξιά ) είναι προαιρετικό
το μέγεθος του αρχείου που δίνεις είναι το μέγιστο που μπορεί να πιάσει στο mpeg έχει για παράδειγμα 20000000 bytes ~= 19 MB
δηλαδή προφανώς για μια εικόνα δεν θα βάλει κανείς να ψάχνει για αρχεία του ενός GB

για τα mp3 έχει κάποια παραδείγματα σε comments ( δοκίμασε κανείς να βγάλει τα comments να δει αν πιάνει καθόλου )
για όσα formats γράφει από πάνω
(NOTE THIS FORMAT HAS A BUILTIN EXTRACTION FUNCTION)
σημαίνει ότι τα βρίσκει από μόνο του ... στα αρχεία ήχου βρίσκει δηλαδή από μόνο του μόνο τα WAV αρχεία...

Τα αρχεία του lmms τα mmpz για παράδειγμα έχουν το 78 9c στο 5ο byte
πχ
00000000 00 02 b0 6a 78 9c ed 5d 6b 8f e3 38 76 fd 3e bf |...jx..]k..8v.>.|
και
00000000 00 00 5d 5e 78 9c dd 9c 6d 8f db c6 11 c7 df fb |..]^x...m.......|
άρα η σύνταξη για το foremost.conf είναι:

Κώδικας: Επιλογή όλων

# Linux multimedia studio files (LMMS) files
      mmpz  y     1000000       \x78\x9c
#---------------------------------------------------------------------


όπως βλέπετε η γραμμή που μας ενδιαφέρει δεν έχει comments
Δηλαδή με την παράμετρο -t αφού φτιάξει σωστά το foremost.conf
γίνεται να βρει κανείς τα mp3 του ειδικά αν ξέρει αν είχαν ID3 TAGS με το foremost
καθώς έχουν κάτι κοινό
πολλά μπορούν να γίνουν με τις κατάλληλες αλλαγές στο foremost.conf
Περισσότερα στο
http://en.wikipedia.org/wiki/ID3
http://www.forensicfocus.com/familiar-i ... c-analysis
http://www.mp3-converter.com/mp3codec/id3.htm
http://www.mpgedit.org/mpgedit/mpeg_format/mpeghdr.htm
και

Κώδικας: Επιλογή όλων

man foremost

και στο αρχείο README

[soukis]

Για σας.Προσπαθω εδω και 3 μερες να ανακτοισω τα αρχεια απο τον δισκο που εκανα φορματ κατα λαθος αλλα με το foremost μου σωζει τα αρχεια στον /dev/sta1 ενω εγω θελω να τα σοσω σε ενα εξωτερικο σκληρο που εχω.Δινω την εντολη

Κώδικας: Επιλογή όλων

sudo foremost -o /dev/sdc1/RESCUE -t all -i /dev/sda1

και μου γραφει /dev/sdc1: Not a directory.
Πρεπει να αλλαξω κατι?

[ftso]

εδω και 3 μερες να ανακτοισω τα αρχεια απο τον δισκο που εκανα φορματ κατα λαθος αλλα με το foremost μου σωζει τα αρχεια στον /dev/sta1

κακός πείραξες τον δίσκο.
με το testdisk θα έκανες επαναφορά στην προηγούμενη κατάσταση με όλα τα αρχεία σου.
αν δεν έχεις κάνεις κάποια εγγραφή-διαγραφή στον δίσκο τρέξε ένα live CD που έχει το testdisk και αφού κάνεις ανάλυση θα σου προτείνει να εφαρμόσεις το παλιό partition table.
αν συνδέεσαι στο δίκτυο με ethernet καλώδιο τότε μπορείς να εγκαταστήσεις το testdisk και στο liveCD του ubuntu κατευθείαν...

[digibill]

εδω και 3 μερες να ανακτοισω τα αρχεια απο τον δισκο που εκανα φορματ κατα λαθος αλλα με το foremost μου σωζει τα αρχεια στον /dev/sta1

κακός πείραξες τον δίσκο.

Το foremost δεν γράφει τίποτα, απλά ψάχνει στον δίσκο για συγκεκριμένες μορφές αρχείων.....

Κώδικας: Επιλογή όλων

sudo foremost -o /dev/sdc1/RESCUE -t all -i /dev/sda1

Είσαι σίγουρος ότι ο εξωτερικός σου δίσκος που θες να αποθηκεύσεις τα αρχεία αναγνωρίζεται ως sdc1; Το τσέκαρες από το partition editor;

[the_sidewinder]

Στον οδηγό λέει ότι σε τριπλοφορμαρισμένο δίσκο 40GB βρήκε πάρα πολλά αρχεία.

Εμένα γιατί σε partition 90GB δε μου βρήκε κανένα;;; Μήπως κάνω κάτι λάθος;;

Το format έγινε μέσα από Παράθυρα σΒήστα και ήταν full και όχι quick. Έπειτα, γράφτηκαν μόλις λίγα ΚΒ και ο δίσκος δεν ξαναχρησιμοποιήθηκε (ούτε καν mount)

Έκανα εικόνα με την εντολή dd και μου έφτιαξε ένα image file ίδιου μεγέθους με το partition. (Του πήρε 17 ημέρες!! )
Ύστερα έτρεξα μέσα από live cd το foremost με την παρακάτω εντολή:

Κώδικας: Επιλογή όλων

sudo foremost -v -o /media/<...>/RESCUE/ -t all -i /media/<...>/IMAGE/data.dd

H ανάκτηση κράτησε μόλις 2 ώρες και 8 λεπτά.

Έκανα κάτι λάθος ρε παιδία;

[stefman]

Καλησπέρα. Είμαι καινούριος στο linux και δυστυχώς η πρώτη μου επαφή είναι δραματική. Εγκατέστησα το ubuntu πάνω στο σκληρό δίσκο και έσβησε όλα τα δεδομένα περίπου 250GB, ανάμεσα στα οποία είναι και η διπλωματική εργασία μου. Υπάρχει τρόπος να επαναφέρω όλα τα δεδομένα χρησιμοποιώντας την εφαρμογή αυτή ή τουλάχιστον να σώσω τη διπλωματική εργασία;
Σας ευχαριστώ εκ των προτέρων.

[digibill]

Στον οδηγό λέει ότι σε τριπλοφορμαρισμένο δίσκο 40GB βρήκε πάρα πολλά αρχεία.

Εμένα γιατί σε partition 90GB δε μου βρήκε κανένα;;; Μήπως κάνω κάτι λάθος;;
.......
Έκανα εικόνα με την εντολή dd και μου έφτιαξε ένα image file ίδιου μεγέθους με το partition. (Του πήρε 17 ημέρες!! )

Η εντολή είναι σωστή αλλά το να σου έκανε 17 ημέρες για το image είναι εξωπραγματικό!!
Δοκίμασε να τρέξεις το foremost κατευθείαν πάνω στον δίσκο (εννοώ χωρίς να φτιάξεις image) μπας και έφτιαξες λάθος το image....
Παρεμπιπτόντως, στο directory που του είπες να σώσει τα αρχεία, υπάρχει ένα αρχείο ονόματι audit.txt Τι περιέχει;

Καλησπέρα. Είμαι καινούριος στο linux και δυστυχώς η πρώτη μου επαφή είναι δραματική. Εγκατέστησα το ubuntu πάνω στο σκληρό δίσκο και έσβησε όλα τα δεδομένα περίπου 250GB, ανάμεσα στα οποία είναι και η διπλωματική εργασία μου. Υπάρχει τρόπος να επαναφέρω όλα τα δεδομένα χρησιμοποιώντας την εφαρμογή αυτή ή τουλάχιστον να σώσω τη διπλωματική εργασία;
Σας ευχαριστώ εκ των προτέρων.

Ναι, υπάρχει. Ακολούθησε τον οδηγό.

[the_sidewinder]

Στον οδηγό λέει ότι σε τριπλοφορμαρισμένο δίσκο 40GB βρήκε πάρα πολλά αρχεία.

Εμένα γιατί σε partition 90GB δε μου βρήκε κανένα;;; Μήπως κάνω κάτι λάθος;;
.......
Έκανα εικόνα με την εντολή dd και μου έφτιαξε ένα image file ίδιου μεγέθους με το partition. (Του πήρε 17 ημέρες!! )

Η εντολή είναι σωστή αλλά το να σου έκανε 17 ημέρες για το image είναι εξωπραγματικό!!
Δοκίμασε να τρέξεις το foremost κατευθείαν πάνω στον δίσκο (εννοώ χωρίς να φτιάξεις image) μπας και έφτιαξες λάθος το image....
Παρεμπιπτόντως, στο directory που του είπες να σώσει τα αρχεία, υπάρχει ένα αρχείο ονόματι audit.txt Τι περιέχει;

Έτρεξα το foremost ΚΑΙ επάνω στο δίσκο.
Το audit.txt περιέχει τα εξής:

Spoiler: show

Output directory: /home/ubuntu
/resc
Configuration file: /etc/foremost.conf
--------------------------------------------------------------------------------------
File: /dev/sda3
Start: Thu Mar 18 07:16:24 2010
Length: 92GB (98859745280 bytes)

Num Name (bs=512) Size File Offset Comment

Finish: Thu Mar 18 09:19:23 2010

0 FILES EXTRACTED

--------------------------------------------------------------------------------------

Foremost finished at Thu Mar 18 09:19:23 2010

Γενικότερα έτρεξα κατά σειρά:
1.Δημιουργία εικόνας (dd)
2.TestDisk στην εικόνα (Μήπως και βρώ το παλιό partition)
3.foremost στην εικόνα.
4.photorec στην εικόνα.
5.photorec με όλες τις επιλογές στην εικόνα (και brute force δηλαδή και να κρατάει κατεστραμένα αρχεία και κάτι τέτοια)
6.foremost κατευθείαν στο δίσκο
7.photorec κατευθείαν στο δίσκο
8.magicrescue κατευθείαν στο δίσκο

ΟΛΑ μου είπαν 0 files extracted.
Τι γίνεται ρε παιδία; Άλλοι μιλάνε για τριπλοφορμαρισμένους δίσκους και βρίσκουν εκατοντάδες χιλιάδες αρχεία. Εγώ με ένα format στα Παραθύρια και χωρίς να γράψω τίποτα στο δίσκο, δε βρίσκω ΟΥΤΕ ΕΝΑ;;;; Τόσο γκαντέμης είμαι;;

Off topic:

Η εντολή είναι σωστή αλλά το να σου έκανε 17 ημέρες για το image είναι εξωπραγματικό!!

Εμένα πάλι γιατί μου φαίνεται φυσιολογικό;
Το blocksize ήταν 512 (προεπιλογή)
Έχουμε: 92GB / (17ημέρες χ 24ώρες χ 3600δευτερόλεπτα) ~= 62KB/sec
που είναι μια φυσιολογική ταχύτητα για σκληρό δίσκο. Το μόνο "γιατί" είναι που δε φόρτωνε μεγαλύτερα πακέτα από τα ζητούμενα (οι τσατσιές που κάνουν συνήθως).
Να πω βέβαια ότι τρέχω το μηχάνημα σε safe graphics mode γιατί έχει χαλάσει η μνήμη της κάρτας γραφικών και δε μπορούσα να κάνω τέτοιες δουλειές στον καινούργιο.