Αποθήκευση μεγάλου όγκου δεδομένων.

Συζητήσεις για την Java

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
xultimatex
Honorary Member
Δημοσιεύσεις: 2505
Εγγραφή: 26 Ιούλ 2003 13:02
Τοποθεσία: Ξάνθη
Επικοινωνία:

Αποθήκευση μεγάλου όγκου δεδομένων.

Δημοσίευση από xultimatex » 03 Οκτ 2012 14:21

Καλησπέρα,
δουλεύω ένα project στο οποίο πρέπει να αποθηκεύσω έναν τεράστιο όγκο από double (κάτι εκατομμύρια) αριθμούς. Υπάρχουν λίγες συσχετίσεις αλλά κυρίως θέλω κάτι (μια db? , άλλο τρόπο στο δίσκο? ) που να ενδείκνυται για τέτοιου τύπου αποθήκευση.

Έχω δοκιμάσει XML αλλά χάνω πάααρα πολύ χρόνο στο parsing από string σε double +ότι γεμίζει τη μνήμη ο DOM parser για πλάκα +ότι πιάνουν και πιο πολύ χώρο.

Π.χ, θα μπορούσε η MySQL να είναι αποδοτική σε κάτι τέτοιο; η JavaDB; Φανταστείτε πίνακες με 150 στήλες και κατεβατά από doubles.
:arrow: Αν προσπαθείς πολύ για να πετύχεις κάτι, ίσως το κάνεις με λάθος τρόπο...

gorgoro
Δημοσιεύσεις: 98
Εγγραφή: 13 Δεκ 2010 14:14

Αποθήκευση μεγάλου όγκου δεδομένων.

Δημοσίευση από gorgoro » 07 Οκτ 2012 19:32

xultimatex έγραψε:Καλησπέρα,
δουλεύω ένα project στο οποίο πρέπει να αποθηκεύσω έναν τεράστιο όγκο από double (κάτι εκατομμύρια) αριθμούς. Υπάρχουν λίγες συσχετίσεις αλλά κυρίως θέλω κάτι (μια db? , άλλο τρόπο στο δίσκο? ) που να ενδείκνυται για τέτοιου τύπου αποθήκευση.

Έχω δοκιμάσει XML αλλά χάνω πάααρα πολύ χρόνο στο parsing από string σε double +ότι γεμίζει τη μνήμη ο DOM parser για πλάκα +ότι πιάνουν και πιο πολύ χώρο.

Π.χ, θα μπορούσε η MySQL να είναι αποδοτική σε κάτι τέτοιο; η JavaDB; Φανταστείτε πίνακες με 150 στήλες και κατεβατά από doubles.
εαν χανεις πολλη χρονο στο parsing οταν το κανεις σκεψου ποσο χρονο θα χανεις οταν θα πας να γεμισεις την βαση .ΕΠΙΣΗΣ πρεπει να το κανεις με διαφορετικο τροπο και οχι ετσι απλα.Χρησιμοποιηεις καποιο ORM? θα πρεπει να το βαλεις να σου σωζει ανα 50 και να αδειαζει χωρο στην μνημη.οι λυσεις ειναι συνηθως 2

Σε file σε xml η ακομα καλυτερα σε απλα file και τα τραβας και μετα τα βαζεις σε βαση .(το File)


και να τα βαζεις σε βαση ετσι (ΑΚΟΜΑ ΠΙΟ ΑΡΓΟ ΠΡΕΠΕΙ ΝΑ ΣΚΕΦΤΕΙς ΚΑΙ ΤΙ ΜΠΟΡΕΙ ΝΑ ΠΑΕΙ ΣΤΡΑΒΑ να αδειαζεισ την μνημη ανα τοσο ανα 50 ανα 100 εισαγωγες και παλι ξανα απο την αρχη ειναι πολλη πιο αργο και μη ασφαλες διαδικασια.


εγω το κανω σε αρχειο και μετα το πετω στην βαση σαν εαν κομματι ακο εκει το τραβαω οταν ειναι για διαβασμα και γραψιμο ουτως η αλλιως ολοι αυτο κανουνε σε απλα file xml συνηθως αργεις πιο πολλη.Το μονο που αλλαζει ειναι ο τροπος παντα .

Διαβασε και για το blob!!

Η mysql ειναι οτι και τα αλλα βαλε η sql srever η καμμια oracle να τελειωνεις εχει τις δωρεεαν postgress kai interbase HSQL και αυτες καλες ειναι.

καλο βολι . 8)

gvre
Δημοσιεύσεις: 990
Εγγραφή: 14 Οκτ 2010 11:34
Τοποθεσία: Ηράκλειο Κρήτης
Επικοινωνία:

Αποθήκευση μεγάλου όγκου δεδομένων.

Δημοσίευση από gvre » 07 Οκτ 2012 20:26

xultimatex έγραψε:Καλησπέρα,
δουλεύω ένα project στο οποίο πρέπει να αποθηκεύσω έναν τεράστιο όγκο από double (κάτι εκατομμύρια) αριθμούς. Υπάρχουν λίγες συσχετίσεις αλλά κυρίως θέλω κάτι (μια db? , άλλο τρόπο στο δίσκο? ) που να ενδείκνυται για τέτοιου τύπου αποθήκευση.

Έχω δοκιμάσει XML αλλά χάνω πάααρα πολύ χρόνο στο parsing από string σε double +ότι γεμίζει τη μνήμη ο DOM parser για πλάκα +ότι πιάνουν και πιο πολύ χώρο.

Π.χ, θα μπορούσε η MySQL να είναι αποδοτική σε κάτι τέτοιο; η JavaDB; Φανταστείτε πίνακες με 150 στήλες και κατεβατά από doubles.
Πώς θα χρησιμοποιεί η εφαρμογή σου αυτούς τους αριθμούς; Θα τους φορτώνει όλους μαζί, θα χρειάζεται να τραβάει μόνο συγκεκριμένες γραμμές, κάτι άλλο;

Απάντηση

Επιστροφή στο “Java”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες