μετανάστευσης βάσεων δεδομένων που χρησιμοποιούν Apache Spark

ψήφοι
0

Πρέπει να εκτελέσετε τη μετάβαση από το ένα αφηρημένο βάση δεδομένων σε μια άλλη (επιτρέπει για παράδειγμα να πω από το μαντείο για να Κασσάνδρας) και θέλουμε να χρησιμοποιήσουμε Apache Spark ροής γι 'αυτό. Δεν είναι μια απλή χαρτογράφηση των τύπων του ενός db στο άλλο, αλλά περιλαμβάνει επίσης πολύπλοκη μετασχηματισμοί και επικύρωση. Μια χαρακτηριστική περίπτωση είναι να ελέγξετε πριν από την επικύρωση / μετατροπή κάποια πάθηση των δεδομένων μας ΕΑΕ μέσω ψάχνει για μερικές σχέσεις αυτής της τιμής με τιμές στο σύνολο της (ίσως και διαφορετικά) σύνολο δεδομένων (για παράδειγμα, περιπτώσεις όταν η αξία μας από ΕΑΕ χρησιμοποιείται σε κάποια άλλη τραπέζι και θέλουμε να το ελέγξετε και να εκτελέσει κάποιες ενέργειες για κάθε εμφάνιση εμφάνιση).

Γι 'αυτό και έχουν τη δυνατότητα να χρησιμοποιούν Apache Ignite με το είναι κοινόχρηστο ΕΑΕ για να λύσει αυτό το πρόβλημα. Και όταν θα λάβουμε τέτοια δεδομένα τα οποία θα χρειαστεί εξωτερική έλεγχο της είναι συσχέτιση με τα άλλα δεδομένα από ολόκληρη την έκταση της μετανάστευσης τότε θα πάμε απλά για να ανάψει (το οποίο θα χρησιμοποιηθεί ως temprorary αποθήκευσης για τέτοιες περιπτώσεις), ελέγξτε συσχετίσεις και να εκτελέσει όλες τις οι απαραίτητες ενέργειες με την αξία μας.

Έτσι δεν smb έχει τέτοια εμπειρία και ποια τυπικά προβλήματα που ενδεχομένως θα συναντήσετε. Είναι μια καλή πρακτική να χρησιμοποιείται όπως η αρχιτεκτονική ή μπορεί να είναι αυτό μπορεί να γίνει πιο αποτελεσματική και με καλύτερο σχεδιασμό στην Spark;

Δημοσιεύθηκε 18/12/2017 στις 09:42
χρήστη
Σε άλλες γλώσσες...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more