Web scrapper σε τι γλώσσα;

Γενικά θέματα για τις γλώσσες προγραμματισμού που δεν καλύπτονται από τις άλλες περιοχές της κατηγορίας.

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
giannis17
Honorary Member
Δημοσιεύσεις: 1215
Εγγραφή: 06 Ιαν 2005 19:50
Τοποθεσία: Παγκράτι - Αθήνα
Επικοινωνία:

Web scrapper σε τι γλώσσα;

Δημοσίευση από giannis17 » 06 Σεπ 2017 11:12

Έρχονται κάποιες στιγμές που πρέπει να αντλήσεις δεδομένα από legacy συστήματα στα οποία δεν έχεις καμία πρόσβαση (και αν έχεις λίγο μυαλό δεν θες ούτε ο ίδιος να τα πειράξεις). Ευτυχώς (ή και όχι;) αυτά παίζουν σε intranet (vpn στην δική μου περίπτωση) μέσω browser και το ξέρεις βαθιά μέσα σου πως ένα scrapper θα μπορούσε να σου βγάλει δεδομένα και σε ότι μορφή θες και μετά να φτιάξεις reports που ουσιαστικά σου ζητάει ο πελάτης.

Για να γλυτώσεις το hardware support που θα χρειαζόταν αν το έτρεχες σε μηχάνημα στον πελάτη το τρέχεις σε cloud και για να γλυτώσεις κόστος λειτουργίας επιλέγεις Amazon EC2 το οποίο θα ξεκινάς με remote script να τρέχει 20-30 λεπτά τη μέρα (όσο χρειαστεί τέλος πάντων να κάνει την δουλειά του) και μετά να κλείνει μόνο του.

Μέχρι εδώ καλά. Το scrapper όμως σε τι το φτιάχνεις; Έτοιμο library; Χεράτο; Και σε τι γλώσσα; Η Python είναι η πιο διαδεδομένη σε αυτό τον τομέα, αλλά μήπως η Go είναι πιο γρήγορη (άρα και πιο φθηνή για το EC2). Ο Γούγλης θα ξέρει, ψάχνεις και βρίσκεις προτάσεις και για Java, SCALA, Ruby και node και εκεί που ήσουν σε δίλημμα τώρα είσαι έτοιμος να τα παρατήσεις, ή μήπως και όχι;

Καμιά ιδέα κάποιος με εμπειρία; :hammer:

Υ.Γ. Από τις προαναφερθείσες γλώσσες δεν έχω ασχοληθεί ποτέ με Ruby ή SCALA αν και από ότι έχω δει η πρώτη είναι πανεύκολη και η δεύτερη είναι βασισμένη στην Java. Δεν έχω πρόβλημα να ασχοληθώ με νέα γλώσσα αν πρόκειται να κάνω την δουλειά μου.

Υ.Γ.2. Το project αφορά δημιουργία reports για trends πωλήσεων σε 8 χώρες (27 αποθήκες) με βάση τα δελτία αποστολής (logistics), αφού μόνο εκεί υπάρχει πρόσβαση κι αυτό σε ένα αρχαίο asp webapp για το οποίο εννοείται δεν υπάρχει κάποιο support.

Υ.Γ.3 Υπάρχει ο χρόνος και το budget για να υλοποιηθεί σωστά. Το βασικό είναι να είναι stable μην κολλήσει και κάνουμε καμιά βδομάδα να το πάρουμε χαμπάρι και έρθει και φουσκωμένος ο λογαριασμός της Amazon (αν γίνει κάτι τέτοιο βέβαια κατά 99% θα φταίω εγώ που το έγραψα κι όχι η γλώσσα αλλά καταλαβαίνετε τι εννοώ)
"There is only one problem with common sense; it’s not very common."
– Milt Bryce

Απάντηση

Επιστροφή στο “γλώσσες προγραμματισμού - γενικά”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες