MooseFS

MooseFS είναι ανεκτική σε σφάλματα, δίκτυο κατανεμημένο σύστημα αρχείων που εξαπλώνεται δεδομένα από διάφορες φυσικές διακομιστές που είναι ορατά στον χρήστη ως ένας πόρος & nbsp? Για τις τυπικές λειτουργίες αρχείων MooseFS πράξεις και άλλα Unix-ομοειδή συστήματα αρχείων.:
& Nbsp? * Μια ιεραρχική δομή (το δέντρο καταλόγου)
& Nbsp? * Χαρακτηριστικά αρχείου Καταστήματα POSIX (δικαιώματα, τελευταία πρόσβαση και τροποποίηση φορές)
& Nbsp? * Υποστηρίζει τα ειδικά αρχεία (μπλοκ και χαρακτήρα συσκευές, σωλήνες και υποδοχές)
& Nbsp? * Οι συμβολικοί δεσμοί (ονόματα αρχείων που δείχνουν να στοχεύουν τα αρχεία, όχι κατ 'ανάγκην για MooseFS) και μόνιμες συνδέσεις (διαφορετικά ονόματα αρχείων που αναφέρονται στα ίδια στοιχεία για MooseFS)
& Nbsp? * Η πρόσβαση στο σύστημα αρχείων μπορεί να περιοριστεί με βάση τη διεύθυνση ή / και τον κωδικό πρόσβασης IP
Ιδιαίτερα χαρακτηριστικά του MooseFS είναι:
& Nbsp? * Υψηλή αξιοπιστία (πολλά αντίγραφα των δεδομένων μπορούν να αποθηκευτούν σε όλη ξεχωριστούς υπολογιστές)
& Nbsp? * Η χωρητικότητα είναι δυναμικά επεκτάσιμη με την προσάρτηση νέων υπολογιστών / δίσκοι
& Nbsp? * Διαγραμμένα αρχεία διατηρούνται για ένα ρυθμιζόμενο χρονικό διάστημα (ένα επίπεδο συστήματος αρχείων "κάδο απορριμμάτων")
& Nbsp? * Συνεκτική στιγμιότυπα από τα αρχεία, ακόμη και ενώ η εγγραφή του αρχείου / πρόσβαση
MooseFS αποτελείται από τέσσερα στοιχεία:
& Nbsp? * Διευθύνων εξυπηρετητή (master server) & ndash? ένα μόνο μηχάνημα διαχείριση του ολόκληρο το σύστημα αρχείων, την αποθήκευση μεταδεδομένων για κάθε αρχείο (πληροφορίες για το μέγεθος, τα χαρακτηριστικά και την τοποθεσία (ες) αρχείο, συμπεριλαμβανομένων όλων των πληροφοριών σχετικά με τη μη κανονικά αρχεία, δηλαδή καταλόγους, πρίζες, σωλήνες και συσκευές).
& Nbsp? * Εξυπηρετητές δεδομένων (servers κομμάτι) - οποιοσδήποτε αριθμός των servers εμπόρευμα αποθήκευση των αρχείων δεδομένων και το συγχρονισμό μεταξύ τους καθώς (αν ένα συγκεκριμένο αρχείο υποτίθεται ότι υπάρχουν σε περισσότερα από ένα αντίγραφο).
& Nbsp? * Backup server (s) Μεταδεδομένα (server metalogger) - οποιοσδήποτε αριθμός των servers, τα οποία changelogs κατάστημα μεταδεδομένων και περιοδικά λήψη κύριο αρχείο μεταδεδομένων? έτσι ώστε να προωθήσει αυτούς τους διακομιστές στο το ρόλο του Διευθύνοντος διακομιστή όταν primary master σταματήσει να λειτουργεί.
& Nbsp? * Οι υπολογιστές-πελάτες που έχουν πρόσβαση (mount) τα αρχεία σε MooseFS - οποιοσδήποτε αριθμός μηχανών που χρησιμοποιούν mfsmount διαδικασία να επικοινωνούν με την διαχείριση του διακομιστή (για να λάβετε και να τροποποιήσετε το αρχείο μεταδεδομένων) και με chunkservers (για την ανταλλαγή των πραγματικών δεδομένων αρχείου).
mfsmount βασίζεται στο μηχανισμό ασφάλεια (σύστημα αρχείων σε userspace), έτσι MooseFS είναι διαθέσιμη σε κάθε λειτουργικό σύστημα με μια εφαρμογή εργασίας FUSE (Linux, FreeBSD, MacOS X, κλπ)
Είναι αποθηκευμένα στη μνήμη της διαχείρισης του server και ταυτόχρονα αποθηκευμένα στο σκληρό δίσκο (ως ενημερώνεται περιοδικά δυαδικό αρχείο και ενημερώνεται αμέσως στοιχειώδη αρχεία καταγραφής). Το βασικό δυαδικό αρχείο, καθώς και τα αρχεία καταγραφής είναι συγχρονισμένα με τις metaloggers (αν υπάρχει).
Αρχείο δεδομένων χωρίζεται σε θραύσματα (τεμάχια), με ένα μέγιστο από 64MiB κάθε μία. Κάθε κομμάτι είναι η ίδια ένα αρχείο σε επιλεγμένα δίσκους σε διακομιστές δεδομένων (chunkservers).
Υψηλή αξιοπιστία επιτυγχάνεται με τη ρύθμιση, όπως πολλές διαφορετικές διακομιστές δεδομένων, όπως ενδείκνυται για την υλοποίηση της «στόχος» τιμή (αριθμό των αντιγράφων για να κρατήσει), που για το συγκεκριμένο αρχείο.
Πώς λειτουργεί το σύστημα
Όλες οι πράξεις αρχείο σε έναν υπολογιστή-πελάτη που έχει τοποθετηθεί MooseFS είναι ακριβώς η ίδια όπως θα ήταν με άλλα συστήματα αρχείων. Ο πυρήνας του λειτουργικού συστήματος μεταφέρει όλες τις λειτουργίες αρχείων στην ενότητα FUSE, η οποία επικοινωνεί με τη διαδικασία mfsmount. Η διαδικασία mfsmount επικοινωνεί μέσω του δικτύου στη συνέχεια με τις διαχειριστικές server και δεδομένων των εξυπηρετητών (servers κομμάτι). Όλη αυτή η διαδικασία είναι πλήρως διαφανής στο χρήστη.
mfsmount επικοινωνεί με τη διαχείριση του διακομιστή κάθε φορά που χρειάζεται μια επιχείρηση στο αρχείο μεταδεδομένων:
& Nbsp? * Δημιουργία αρχείων
& Nbsp? * Διαγραφή αρχείων
& Nbsp? * Καταλόγους ανάγνωση
& Nbsp? * Χαρακτηριστικά ανάγνωση και την αλλαγή
& Nbsp? * Αλλάζουν τα μεγέθη των αρχείων
& Nbsp? * Κατά την έναρξη της ανάγνωσης ή εγγραφής δεδομένων
& Nbsp? * Για οποιαδήποτε πρόσβαση σε ειδικά αρχεία για MFSMETA
mfsmount χρησιμοποιεί μια άμεση σύνδεση με το διακομιστή δεδομένων (server κομμάτι) που αποθηκεύει το σχετικό κομμάτι του αρχείου. Όταν γράφετε ένα αρχείο, μετά την ολοκλήρωση της διαδικασίας εγγραφής η διαχειριστική server λαμβάνει πληροφορίες από mfsmount να ενημερώσετε το μήκος ενός αρχείου και την τελευταία φορά τροποποίηση.
Επιπλέον, οι διακομιστές δεδομένων (servers κομμάτι) επικοινωνούν μεταξύ τους για να αναπαράγουν δεδομένα προκειμένου να επιτευχθεί ο κατάλληλος αριθμός αντιγράφων ενός αρχείου σε διαφορετικές μηχανές.
& Nbsp?
ανοχή σε σφάλματα
& Nbsp?
Διοικητικές εντολές επιτρέπουν στον διαχειριστή του συστήματος για να καθορίσετε το "στόχο", ή τον αριθμό των αντιγράφων που πρέπει να διατηρηθούν, σε ένα ανά κατάλογο ή ανά αρχείο επίπεδο. Ρύθμιση του στόχου σε περισσότερους από έναν διακομιστή και έχει περισσότερα από ένα δεδομένα θα παρέχει ανοχή σε σφάλματα. Όταν τα δεδομένα αρχείο είναι αποθηκευμένο σε πολλά αντίγραφα (σε περισσότερους από έναν διακομιστή δεδομένων), το σύστημα είναι ανθεκτικό σε βλάβες ή προσωρινές διακοπές του δικτύου μιας ενιαίας βάσης δεδομένων.
Αυτό βέβαια δεν αναφέρονται σε αρχεία με το "στόχο" οριστεί σε 1, περίπτωση κατά την οποία το αρχείο θα υπάρχουν μόνο σε έναν μόνο διακομιστή δεδομένων, ανεξάρτητα από το πόσα δεδομένα Οι διακομιστές αναπτυχθεί στο σύστημα.
Εξαιρετικά σημαντικά αρχεία μπορεί να έχουν στόχο τους, που σε έναν αριθμό μεγαλύτερο από τα δύο, η οποία θα επιτρέψει σε αυτά τα αρχεία να είναι ανθεκτικά σε κατάρρευση του περισσότερους από έναν διακομιστή ταυτόχρονα.
Σε γενικές γραμμές η ρύθμιση για τον αριθμό των αντιγράφων που διατίθενται πρέπει να είναι ένα περισσότερο από τον προβλεπόμενο αριθμό των δυσπρόσιτες ή out-of-order servers.
Στην περίπτωση όπου ένας ενιαίος data server βιώνει μια αποτυχία ή αποσύνδεση από το δίκτυο, τα αρχεία που αποθηκεύονται μέσα σε αυτήν που είχε τουλάχιστον δύο αντίτυπα, θα παραμείνει προσβάσιμη από έναν άλλο διακομιστή δεδομένων. Τα δεδομένα που είναι τώρα κάτω από το στόχο της »θα επαναληφθεί για άλλο προσβάσιμο διακομιστή δεδομένων για την παροχή και πάλι τον απαιτούμενο αριθμό των αντιγράφων.
Θα πρέπει να σημειωθεί ότι, εάν ο αριθμός των διαθέσιμων εξυπηρετητών είναι χαμηλότερο από το "στόχο" για μια δεδομένη αρχείο, ο απαιτούμενος αριθμός των αντιγράφων δεν μπορεί να διατηρηθεί. Ομοίως, αν δεν υπάρχει ο ίδιος αριθμός των servers, όπως η τρέχουσα ρύθμιση στόχο και αν ένας διακομιστής δεδομένων έχει φτάσει το 100% της χωρητικότητάς της, θα είναι σε θέση να αρχίσουν να κρατούν ένα αντίγραφο ενός αρχείου που είναι τώρα κάτω από το όριο του στόχου της οφείλεται σε ένα άλλο εξυπηρετητή δεδομένων βγείτε εκτός σύνδεσης. Σε αυτές τις περιπτώσεις, ένα νέο εξυπηρετητή δεδομένων πρέπει να συνδεθεί με το σύστημα, το συντομότερο δυνατόν προκειμένου να διατηρηθεί το επιθυμητό αριθμό αντιγράφων του φακέλου.
Ένα νέο εξυπηρετητή δεδομένων μπορεί να συνδεθεί με το σύστημα οποιαδήποτε στιγμή. Η νέα χωρητικότητα θα γίνει άμεσα διαθέσιμη για χρήση για να αποθηκεύσετε τα νέα αρχεία ή να αναπαραχθεί κρατήσει αντίγραφα των αρχείων από άλλους διακομιστές δεδομένων.
Υπάρχουν Διοικητικές υπηρεσίες κοινής ωφέλειας ερώτημα για την κατάσταση των αρχείων στο σύστημα αρχείων για να καθορίσει εάν οποιοδήποτε από τα αρχεία είναι σήμερα κάτω από το στόχο τους (καθορισμένο αριθμό των αντιγράφων). Η χρησιμότητα αυτή μπορεί επίσης να χρησιμοποιηθεί για να μεταβάλλει την ρύθμιση στόχου, όπως απαιτείται.
Τα τμήματα δεδομένων που αποθηκεύονται στα κομμάτια εκδόσεων, έτσι εκ νέου τη σύνδεση ενός εξυπηρετητή δεδομένων με μεγάλα αντίγραφο των δεδομένων (όπως αν ήταν εκτός λειτουργίας για ένα χρονικό διάστημα), δεν θα προκαλέσει τα αρχεία για να γίνει ασυνάρτητη. Ο διακομιστής δεδομένων θα συγχρονιστεί να κρατήσει τις τρέχουσες εκδόσεις των κομματιών, όπου οι παρωχημένες κομμάτια θα πρέπει να αφαιρεθεί και ο ελεύθερος χώρος θα ανακατανεμηθεί για να κρατήσει τα νέα κομμάτια.
Οι αποτυχίες του ένα μηχάνημα-πελάτη (που τρέχει τη διαδικασία mfsmount) δεν θα έχει καμία επίδραση στην συνοχή του συστήματος αρχείων ή στις δραστηριότητες του άλλου πελάτη. Στη χειρότερη περίπτωση τα δεδομένα που δεν έχει ακόμα αποσταλεί από την αποτυχημένη υπολογιστή-πελάτη ενδέχεται να χαθούν.
& Nbsp?
ΠΛΑΤΦΟΡΜΕΣ
& Nbsp? MooseFS είναι διαθέσιμη σε κάθε λειτουργικό σύστημα με μια εφαρμογή εργασίας ΑΣΦΑΛΕΙΑΣ:
& Nbsp? * Linux (Linux 2.6.14 και μέχρι να έχουν την υποστήριξη ασφάλειας στο επίσημο πυρήνα)
& Nbsp? * FreeBSD
& Nbsp? * OpenSolaris
& Nbsp? * MacOS X
Ο πλοίαρχος, διακομιστή metalogger και chunkservers μπορούν επίσης να τρέχουν στο Solaris ή Windows με Cygwin. Δυστυχώς, χωρίς να λιώνουν, δεν θα είναι δυνατό να εγκατασταθεί το σύστημα αρχείων σε αυτά τα λειτουργικά συστήματα

Τι είναι καινούργιο σε αυτή την έκδοση:.

< li> Οι σημαντικότερες αλλαγές περιλαμβάνουν σταθερό χειρισμό σε πολυνηματική μονάδες, ο στόχος και trashtime όρια mfsexport.cfg σήματος, και έναν απλό έλεγχο για κατεβάσει τα αρχεία μεταδεδομένων.

Τι είναι καινούργιο στην έκδοση 1.6.19:

• Σημαντικές αλλαγές εισήχθησαν στο μηχάνημα metalogger και metarestore εργαλείο για την καλύτερη ακεραιότητα των μεταδεδομένων.
• Μια γραμμή προόδου σάρωσης στο CS προστέθηκε.
• Ο πλοίαρχος όνομα έχει πλέον επιλυθεί όταν η σύνδεση αποτυγχάνει.
• Μια νέα σύνοδος δημιουργείται όταν η προηγούμενη έχει χαθεί.
• Πολλοί άλλοι διορθώσεις σφαλμάτων και βελτιώσεις έγιναν.

Τι είναι καινούργιο στην έκδοση 1.6.17:

• Σε αυτή την έκδοση εισαγάγαμε μια αυτόματη διαχείριση μνήμης cache δεδομένων .
• Είναι αρκετό να αναβαθμίσετε μόνο το κύριο διακομιστή (καμία αλλαγή στους servers κομμάτι ή των πελατών κωδικός έγιναν).
• Ο μηχανισμός της κρυφής μνήμης του πυρήνα πάντα υπήρχε, αλλά μέχρι τώρα η μνήμη cache ήταν πάντα καθαρίζεται κατά το άνοιγμα ενός αρχείου. Τώρα MooseFS ελέγχει εάν σε αυτό ή δεν είναι σαφές, ελέγχοντας αν το αρχείο ήταν ή δεν έχουν τροποποιηθεί από άλλον πελάτη. Ας δούμε μερικά σενάρια.
• Πρώτο σενάριο:
• 1. Ο υπολογιστής A διαβάζει το αρχείο X
• 2. Ο υπολογιστής B διαβάζει το αρχείο X
• 3. Ο υπολογιστής A θέλει να διαβάσει το αρχείο X - αφήνουμε το cache (το αρχείο δεν άλλαξε)
• Δεύτερο σενάριο:
• 1. Ο υπολογιστής A διαβάζει το αρχείο X
• 2. Ο υπολογιστής A γράφει στο αρχείο X
• 3. Ο υπολογιστής A θέλει Tor διαβάσει το αρχείο X - αφήνουμε το cache (το αρχείο άλλαξε, αλλά ο υπολογιστής Α γνωρίζει για αυτές τις αλλαγές)
• Τρίτο σενάριο:
• 1. Ο υπολογιστής A διαβάζει το αρχείο X
• 2. Υπολογιστών Β γράφει στο αρχείο X
• 3. Ο υπολογιστής A θέλει να διαβάσει το αρχείο X - εδώ έχουμε να αναγκάσει να αδειάσετε την προσωρινή μνήμη (επειδή οι αλλαγές έγιναν από τον υπολογιστή Β και Υπολογιστών Α δεν ξέρω γι 'αυτούς)
• Στην πραγματική περιβάλλοντα πρώτο και το δεύτερο σενάρια συμβαίνουν κατά πολύ πιο συχνά από ό, τι τρίτο σενάριο και γι 'αυτό είναι λογικό να αφήσει τα περιεχόμενα της μνήμης cache και να αποκτήσουν συνολική απόδοση του συστήματος.
• Φυσικά υπάρχουν κάποια σενάρια μέση (αλλά υπήρχαν και πριν), όπως αυτό:
• 1. Ο υπολογιστής A ανοίγει το αρχείο Χ και διαβάζει το εντελώς (το αρχείο παραμένει στη μνήμη cache)
• 2. Ο υπολογιστής B τροποποιεί το αρχείο X
• 3. Ο υπολογιστής A διαβάζει ξανά το αρχείο Χ (αλλά χωρίς το κλείσιμο ή η επανάληψη είναι - απλά κινείται στη θέση 0 και ξαναδιαβάζοντας αυτό)
• Στην κατάσταση αυτή Υπολογιστών Α θα πάρει τα ίδια στοιχεία όπως στο βήμα 1, αλλά το ίδιο συνέβη και στην MooseFS πριν.
• Ένα nodatacache χαρακτηριστικό εισήχθη επίσης το οποίο απαγορεύει την προσωρινή αποθήκευση ενός αρχείου. Από την έκδοση 1.6.17 ασφαλείας των αρχείων με nodatacache χαρακτηριστικό συμπεριφέρονται όπως τα αρχεία που έκαναν σε παλαιότερες εκδόσεις του MooseFS. Αυτή η σημαία μπορεί να χρησιμοποιηθεί με τα εργαλεία mfsseteattr, mfsdeleattr και mfsgeteattr.
• Αυτή η σημαία προστέθηκε προληπτικά και κατά πάσα πιθανότητα δεν θα χρειαστεί να το χρησιμοποιήσετε. Αν μετά από κάποιο χρονικό διάστημα, φαίνεται ότι αυτό είναι πραγματικά άχρηστο θα διαγραφεί. Αλλά αν βρείτε οποιαδήποτε υπόθεση / σενάριο, το οποίο απαιτεί την απενεργοποίηση του μηχανισμού αυτόματης μνήμης cache μπορείτε να μοιραστείτε μαζί μας.