S3QL

S3QL υποστηρίζει το Amazon S3, καθώς και αυθαίρετες διακομιστές SFTP και αποτελεσματικά να σας παρέχει με ένα σκληρό δίσκο της δυναμικής, άπειρη ικανότητα που μπορεί να προσπελαστεί από οποιοδήποτε υπολογιστή με πρόσβαση στο internet.
S3QL παρέχει ένα πρότυπο, πλήρες εξοπλισμένο σύστημα αρχείων UNIX που είναι εννοιολογικά διακρίνεται από οποιονδήποτε τοπικό σύστημα αρχείων. Επιπλέον, S3QL έχει επιπλέον χαρακτηριστικά, όπως συμπίεση, κρυπτογράφηση, τα δεδομένα de-επικάλυψη, αμετάβλητος δέντρα και snapshotting που το καθιστούν ιδιαίτερα κατάλληλο για online backup και αρχειοθέτησης.
S3QL έχει σχεδιαστεί για να ευνοήσει την απλότητα και την κομψότητα για τις επιδόσεις και τη λειτουργία ερπυσμού. Μέριμνα έχει ληφθεί για να καταστήσει τον πηγαίο κώδικα ως ευανάγνωστο και να επισκευαστούν το δυνατόν περισσότερο. Στερεά ανίχνευση σφαλμάτων και την αντιμετώπιση των λαθών έχουν συμπεριληφθεί από την πρώτη γραμμή, και S3QL έρχεται με εκτεταμένη αυτοματοποιημένη περιπτώσεις δοκιμών για όλα τα συστατικά του.
Πριν από ένα σύστημα αρχείων μπορεί να τοποθετηθεί, το backend που θα κρατήσει τα δεδομένα πρέπει να προετοιμαστεί. Αυτό γίνεται με την εντολή mkfs.s3ql. Εδώ είμαστε με το backend Amazon S3, και nikratio-s3ql-κουβά είναι ο κάδος S3 στην οποία θα αποθηκευτεί το σύστημα αρχείων.
mkfs.s3ql s3: // nikratio-s3ql-κουβά
Για να προσαρτήσετε το σύστημα αρχείων S3QL αποθηκεύεται στον κάδο nikratio_s3ql_bucket S3 στον κατάλογο / mnt / s3ql, πληκτρολογήστε:
mount.s3ql s3: // nikratio-s3ql-κουβά / mnt / s3ql
Τώρα μπορείτε να αναθέσει το αγαπημένο σας πρόγραμμα δημιουργίας αντιγράφων ασφαλείας σας για να κάνετε ένα backup στον κατάλογο / mnt / s3ql και τα δεδομένα θα αποθηκευτούν ένα Amazon S3. Όταν τελειώσετε, το σύστημα αρχείων πρέπει να αποσυνδέσει με
umount.s3ql / mnt / s3ql

Χαρακτηριστικά :

• Διαφάνεια. Εννοιολογικά, S3QL δεν μπορεί να διακριθεί από ένα τοπικό σύστημα αρχείων. Για παράδειγμα, υποστηρίζει hardlinks, συμβολικούς δεσμούς, πλήρη δικαιώματα Unix, πρόσθετα χαρακτηριστικά και μεγέθη αρχείων μέχρι 2 TB.
• Δυναμική Μέγεθος. Το μέγεθος ενός συστήματος αρχείων S3QL μεγαλώνει και μικραίνει δυναμικά όπως απαιτείται.
• Η συμπίεση. Πριν την αποθήκευση, όλα τα δεδομένα που μπορεί να συμπιεστεί με την LZMA, Bzip2 ή αλγόριθμο LZ.
• Κρυπτογράφηση. Μετά τη συμπίεση (αλλά πριν upload), όλα τα δεδομένα μπορούν AES κρυπτογραφημένα με ένα κλειδί τύπου 256 bit. Ένα επιπλέον checksum SHA256 HMAC χρησιμοποιείται για την προστασία των δεδομένων κατά της χειραγώγησης.
• Data de-επικάλυψη. Εάν πολλά αρχεία έχουν ανάλογο περιεχόμενο, τα πλεονάζοντα δεδομένα θα αποθηκεύονται μόνο μία φορά. Αυτό λειτουργεί σε όλα τα αρχεία που είναι αποθηκευμένα στο σύστημα αρχείων, και επίσης αν μόνο ορισμένα τμήματα των αρχείων είναι ίδιες, ενώ άλλα τμήματα διαφέρουν μεταξύ τους.
• Αμετάβλητος Δέντρα. Δέντρα καταλόγου μπορεί να γίνει αμετάβλητος, έτσι ώστε τα περιεχόμενά τους δεν μπορεί πλέον να αλλάξει με οποιονδήποτε τρόπο. Αυτό μπορεί να χρησιμοποιηθεί για να εξασφαλιστεί ότι τα backup δεν μπορεί να τροποποιηθεί μετά έχουν γίνει.
• Copy-on-Write / Snapshotting. S3QL μπορούν να αναπαράγουν ολόκληρα δέντρα καταλόγου χωρίς τη χρήση οποιουδήποτε επιπλέον αποθηκευτικό χώρο. Μόνο αν ένα από τα αντίγραφα είναι τροποποιημένο, το τμήμα των δεδομένων που έχει τροποποιηθεί θα καταλαμβάνουν επιπλέον χώρο αποθήκευσης. Αυτό μπορεί να χρησιμοποιηθεί για τη δημιουργία έξυπνων στιγμιότυπα που διατηρούν την κατάσταση ενός καταλόγου σε διαφορετικά χρονικά σημεία χρησιμοποιώντας ένα ελάχιστο ποσό του χώρου.
• Υψηλή απόδοση, ανεξάρτητα από την καθυστέρηση του δικτύου. Όλες οι εργασίες που δεν γράφουν ή να διαβάζουν τα περιεχόμενα του αρχείου (όπως η δημιουργία καταλόγων ή μετακίνηση, μετονομασία και αλλαγή δικαιωμάτων των αρχείων και των καταλόγων) είναι πολύ γρήγορα, επειδή πραγματοποιούνται χωρίς οποιεσδήποτε συναλλαγές του δικτύου.
• S3QL επιτυγχάνει αυτό με την εξοικονόμηση ολόκληρο το αρχείο και δομή των καταλόγων σε μια βάση δεδομένων. Αυτή η βάση δεδομένων τοπικής αποθήκευσης και η απομακρυσμένη αντιγραφή ενημερώνεται ασύγχρονα.
• Υποστήριξη για συνδέσεις με χαμηλό εύρος ζώνης. S3QL χωρίζει περιεχόμενα του αρχείου σε μικρότερα τεμάχια και κρύπτες μπλοκ σε τοπικό επίπεδο. Αυτό ελαχιστοποιεί τόσο τον αριθμό των συναλλαγών του δικτύου που απαιτείται για τα δεδομένα ανάγνωσης και γραφής, καθώς και την ποσότητα των δεδομένων που πρέπει να μεταφερθεί όταν μόνο τμήματα ενός αρχείου διαβάσει ή να γράψει.

Τι είναι καινούργιο σε αυτήν την έκδοση:

• Οι προσπάθειες για την αναβάθμιση ενός συστήματος αρχείων που είναι ήδη στο νεότερο αναθεώρηση δεν καθιστούν πλέον οι τοπικές μεταδεδομένα αντιγράψετε άχρηστα.
• Google ονόματα κάδο αποθήκευσης που περιέχει τελείες προκαλεί πλέον προβλήματα με την επικύρωση του πιστοποιητικού SSL.
• Διορθώνει ένα σφάλμα κατά την statvfs () καλείται σε ένα σχεδόν άδειο σύστημα αρχείων.
• Υπάρχει μια νέα & quot? Swiftks & quot? backend για OpenStack / Swift servers.
• Εξαλείφει μιας κατάστασης κούρσας που θα μπορούσε να οδηγήσει σε mount.s3ql συντρίβοντας με & quot? KeyError σε συλλογές / abc.py & quot?.
• Διορθώνει ένα δυστύχημα που θα μπορούσε να συμβεί όταν προσπαθεί να καθαρίσει μετά τη λήψη μια σύνδεση ή διακομιστή σφάλμα κατά τη φόρτωση ενός αντικειμένου.

Τι είναι καινούργιο στην έκδοση 2.2:

• S3QL τώρα χρησιμοποιεί SSL συνδέσεις από προεπιλογή και επαληθεύει πιστοποιητικά διακομιστή.
• Μια κατάσταση κούρσας που οδήγησε σε μια προφανή απώλεια της εξ αποστάσεως μεταδεδομένων έχει καθοριστεί.
• Το backend S3 διαγράφει τώρα πολλαπλές αποθήκευσης αντικειμένων, χρησιμοποιώντας ένα αίτημα, αν είναι δυνατόν, μείωση της καθυστέρησης, της κυκλοφορίας, καθώς και τον αριθμό των αιτήσεων S3.
• S3QL είναι πλέον σε θέση να ανιχνεύσει σφάλματα διακομιστή και επαναπροωθήσεις, πριν όλα τα δεδομένα έχουν σταλεί στον διακομιστή.
• Ένα νέο «Rackspace" backend που επιτρέπει τον καθορισμό της περιοχής αποθήκευσης αντικειμένων στο URL αποθήκευσης προστέθηκε.
• Η mount.s3ql --compress επιλογή αυτή επιτρέπει πλέον τις προδιαγραφές του επιπέδου συμπίεσης.

Τι είναι καινούργιο στην έκδοση 1.15:

• Ποδηλασία των αντιγράφων ασφαλείας των μεταδεδομένων, όταν χρησιμοποιεί το τοπικό backend τώρα παίρνει πολύ λιγότερο χρόνο.
• Δεν είναι πλέον απαραίτητη η S3QL και Python APSW να συνδέεται με την ίδια την SQLite κοινή βιβλιοθήκη.
• Σε mount.s3ql, μια συντριβή κατά τη χρήση --metadata μεταφόρτωση του διαστήματος 0 έχει καθοριστεί.
• Αντί εντελώς αποπροσάρτηση του συστήματος αρχείων (και την έξοδο από το σημείο προσάρτησης απρόσιτα) όταν τα δεδομένα backend λείπει ή έχει καταστραφεί, S3QL επιστρέφει ένα σφάλμα και διακόπτες για να διαβάσετε λειτουργία μόνο. ​​

Τι είναι καινούργιο στην έκδοση 1.13:

• Αυτή η έκδοση διορθώνει ένα bug που προκάλεσε δυσπλασία μεταδεδομένων που πρέπει να γραφτεί όταν χρησιμοποιείτε τις πρόσφατες eglibc εκδόσεις.
• Καθορίζει ζητήματα όταν προσπαθούν να έχουν πρόσβαση σε έναν κατάλογο στη ρίζα του συστήματος αρχείων που απομακρύνθηκε πρόσφατα με s3qlrm.
• υποστήριξη δήθεν ACL έχει αφαιρεθεί.
• Αυτή η έκδοση καλύτερες λαβές κουβάδες με ονόματα DNS άκυρη.
• Θα προσπαθήσετε ξανά αν το DNS δεν είναι διαθέσιμος.

Τι είναι καινούργιο στην έκδοση 1.11.1:

• Αυτή η έκδοση διορθώνει ένα σφάλμα κατά τη χρήση του backend S3 (παλινδρόμηση εισήχθη στην απελευθέρωση 1.11), αυξάνει το ελάχιστο μέγεθος αρχείων που αναφέρονται στο 1 TB, και εργάζεται γύρω από ένα bug df έτσι το μέγεθος αναφέρεται σωστά.

Τι είναι καινούργιο στην έκδοση 1.11:

• Μεταδεδομένα σχετικά με τα αποθηκευμένα αντικείμενα είναι τώρα χωρίζεται σε πολλαπλά πεδία, έτσι Δεν το πεδίο είναι μεγαλύτερο από 256 bytes. (Αυτό κάνει S3QL συμβατή με ένα ευρύτερο φάσμα παρόχων υπηρεσιών αποθήκευσης.) Η SWIFT backend επαναλήψεις τώρα αν λάβει 5xx κωδικούς σφάλματος από τον απομακρυσμένο διακομιστή, και δεν αποτυγχάνει όταν προσπαθεί να ανεβάσετε τα δεδομένα με ληγμένη διακριτικού auth.

Τι είναι καινούργιο στην έκδοση 1.10:

• Οι s3s, s3cs, και backends gss έχουν αφαιρεθεί. Χρησιμοποιήστε το νέο --ssl επιλογή μαζί με τα S3, S3C, και GS του backend αντ 'αυτού.
• S3QL δεν παρακολουθεί τις εγγυήσεις συνέπεια μεταξύ των διαφορετικών backend.
• Ο αυξανόμενος αριθμός των διαφορετικών παρόχων αποθήκευσης που προσφέρουν διαφορετικές περιοχές, απόλυση, και τα επίπεδα διαθεσιμότητας κάνει αυτό δεν είναι πλέον εφικτή.
• Ο Οδηγός χρήσης περιέχει ένα νέο τμήμα, & quot? Σημαντικοί κανόνες για να αποφύγετε την απώλεια δεδομένων & quot?.
• Ανάγνωση συνιστάται έντονα.

Τι είναι καινούργιο στην έκδοση 1.9:

• Αυτή η έκδοση καθιστά φορές αρχείο αλλάζουν πλέον κατά την αλλαγή του συστήματος ζώνη ώρας, διορθώσεις και βελτιώνει contrib / benchmark.p, καθορίζει τις & quot? Πάρα πολλοί αλυσοδεμένος ανακατεύθυνση & quot? έντομο, επαναλήψεις για σφάλματα διακομιστή 5xx, και προσθέτει πειραματική εγγενή υποστήριξη για διακομιστές OpenStack / SWIFT και πειραματική υποστήριξη μεσολάβησης.

Τι είναι καινούργιο στην έκδοση 1.8:

• A & quot? ValueError: Δεν είναι δυνατή η χωματερή τιμές NULL & quot? συντριβή όταν μεταδεδομένα σύστημα αρχείο φορτώθηκε κατά τη διάρκεια έντονης δραστηριότητας του συστήματος αρχείων έχει καθοριστεί.
• s3qlcp και λίστα καταλόγου απόδοσης για πολύ μεγάλους καταλόγους βελτιώθηκαν.
• Η παλινδρόμηση των επιδόσεων RM έχει καθοριστεί.
• -. Blocksize μετονομάστηκε σε --max-obj-μεγέθους
• Μερικά ατυχήματα που συνέβησαν κάτω από βαριά ταυτόχρονη χρήση του συστήματος αρχείων έχουν καθοριστεί.
• python-llfuse 0.37 χρησιμοποιείται πλέον.

Περιορισμοί :

• Υπάρχουν ακόμη πολλά σφάλματα στον κώδικα και θα πρέπει να είναι έτοιμη να αντιμετωπίσει τις τους. Παρ 'όλα αυτά, μπορείτε να είστε λογικά σίγουροι ότι τα σφάλματα (αν και άβολο) δεν θα θέσει σε κίνδυνο τα αποθηκευμένα δεδομένα σας.