OTE whitepages.gr scrapping , θα με πάνε μέσα;

Σε αυτή την περιοχή μπορείτε να βρείτε ή να αναζητήσετε πληροφορίες σχετικές με την PHP

Συντονιστές: WebDev Moderators, Super-Moderators, PHP Moderators

Απάντηση
WSPNH
Δημοσιεύσεις: 97
Εγγραφή: 10 Μαρ 2006 12:52
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από WSPNH » 28 Μαρ 2011 20:23

Γεια σας όπως ίσως γνωρίζετε ο ΟΤΕ έχει μια ιστοσελίδα με τη βοήθεια της οποίας μπορείς να ψάξεις ανάμεσα σε 3.682.034 εγγραφές :o τηλεφωνικού καταλόγου.

Αλλά μέχρι να ανακαλύψει ο ΟΤΕ τα webservices θα πάρει αιώνες. Έτσι λοιπόν χρησιμοποιώντας php curl και parsing technics κατάφερα σε πρώτη φάση να μπορώ να εξάγω στοιχεία όπως (ονοματεπώνυμο, διεύθυνση, κ.τ.λ.) χρησιμοποιώντας την αντίστροφη αναζήτηση.

Θέλω λοιπόν να σας ερωτήσω το εξής: Θα συναντήσω προβλήματα άμα φτιάξω μια δωρεάν web εφαρμογή για εύκολη αναζήτηση και εξαγωγή αποτελεσμάτων (π.χ. json , xml ...) ή ακόμα και desktop εφαρμογή (με αποθήκευση αναζητήσεων - δεδομένων, κ.τ.λ.) ;

Στη σελίδα δε βλέπω όρους χρήσης...

Γνωρίζετε κάποια άλλη παρόμοια της whitepages υπηρεσία;
http://xesemesa.gr ή http://arxwn.eu όπως και να έχει http://jbaron.gr

Άβαταρ μέλους
mrpc
WebDev Moderator
Δημοσιεύσεις: 3393
Εγγραφή: 03 Μάιος 2000 03:00
Τοποθεσία: Εξάρχεια
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από mrpc » 29 Μαρ 2011 12:17

Το πιο πιθανό είναι να μπλέξεις άσχημα αν σε καταλάβουν, αφού δεν έχεις άδεια.
Ασχέτως αν τα δεδομένα είναι ελεύθερα, η καταλογοποίηση που έχουν κάνει έχει copyright. Επίσης με αυτόν τον τρόπο η εφαρμογή σου βαραίνει τους server τους.

Στο παρελθόν έχουμε δει ανάλογα project να κλείνουν για νομικούς λόγους. Δες π.χ. το staseis.gr.

papoukas
Δημοσιεύσεις: 76
Εγγραφή: 18 Ιαν 2011 23:24

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από papoukas » 29 Μαρ 2011 15:22

Αν μέσα σε μία ιστοσελίδα υπάρχει frame όπου παίρνει την ιστοσελίδα του καταλόγου είναι παράνομο? Γιατί αν είναι παράνομο τότε παρανομεί και ο ΙΕ που το εμφανίζει. Ομοίως είναι παράνομο και το tag frame που επιτρέπει να καλούμε από ιστοσελίδα μία άλλη διαφορετικού server.

Άβαταρ μέλους
mrpc
WebDev Moderator
Δημοσιεύσεις: 3393
Εγγραφή: 03 Μάιος 2000 03:00
Τοποθεσία: Εξάρχεια
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από mrpc » 29 Μαρ 2011 15:30

Άλλο το frame και άλλο το να πάρεις τα δεδομένα με curl.
Πάντως και το iframe δεν έχει φτιαχτεί για αυτό το λόγο, και μάλλον είναι λίγο σχετικό το αν είσαι νόμιμος και πάλι.

Άβαταρ μέλους
korgr
Honorary Member
Δημοσιεύσεις: 5067
Εγγραφή: 07 Οκτ 2008 18:30
Τοποθεσία: Corinth
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από korgr » 29 Μαρ 2011 15:31

papoukas έγραψε:Αν μέσα σε μία ιστοσελίδα υπάρχει frame όπου παίρνει την ιστοσελίδα του καταλόγου είναι παράνομο? Γιατί αν είναι παράνομο τότε παρανομεί και ο ΙΕ που το εμφανίζει. Ομοίως είναι παράνομο και το tag frame που επιτρέπει να καλούμε από ιστοσελίδα μία άλλη διαφορετικού server.
Το framed περιεχόμενο δεν είναι scrapping!
Βλέπεις την σελίδα όπως θέλει ο ιδιοκτήτης της να φαίνεται.
Το να κάνεις scrapping στα δεδομένα όμως, σου επιτρέπει να τα παρουσιάσεις σε δικό σου layout (και ίσως χωρίς αναφορά προς την επίσημη πηγή)

papoukas
Δημοσιεύσεις: 76
Εγγραφή: 18 Ιαν 2011 23:24

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από papoukas » 29 Μαρ 2011 15:37

Κατά συνέπεια κάνει frame και μέσο DOM παίρνεις τα δεδομένα και τα παρουσιάζεις (παραθέτοντας την πηγή). Όμως το visibility στο frame είναι hidden. Δεν κάνεις scrapping παραθέτεις την πηγή (πάντα το κάνουμε αυτό).

Άβαταρ μέλους
mrpc
WebDev Moderator
Δημοσιεύσεις: 3393
Εγγραφή: 03 Μάιος 2000 03:00
Τοποθεσία: Εξάρχεια
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από mrpc » 29 Μαρ 2011 15:44

papoukas και αυτό παράνομο είναι. Έτσι κάνεις scrapping μέσω javascript ουσιαστικά.

Επίσης η παράθεση πηγής δεν είναι η λύση για όλα. Το να κλέψεις δεδομένα (ή άρθρα) από κάπου, ακόμα και με παράθεση πηγής, αν δεν έχεις άδεια )(ή δεν υπάρχει σχετική άδεια χρήσης) είναι παράνομο.

Επειδή δεν είναι να παίζει κανείς με τέτοια πράγματα, αν θέλεις να πάρεις δεδομένα, επικοινώνησε με το whitepages και πάρε άδεια. Αν δεν σου δώσουν δεν κάνεις τίποτα. Τέλος.

Άβαταρ μέλους
jpk
Δημοσιεύσεις: 441
Εγγραφή: 09 Μαρ 2011 21:17

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από jpk » 29 Μαρ 2011 15:45

Η απλή λογική λύνει τα πάντα. Τώρα αν θέλεις να κάνεις κάτι «κλέβοντας» δεδομένα υπάρχουν και πιο παλιοί και δοκιμασμένοι τρόποι για να μην σε πιάσουν αλλά όπως και να το κάνεις δημιουργός δεν είσαι. Ναι τα iframes απαγορεύονται αν αποκρύπτεται η πηγή τους και εμφανίζεται ως πηγή το ίδιο το site που έχει το iframe.

Αν εμφανίζεται είναι στην διακριτική ευχέρεια ενός site αν αποδέχονται να μπει σε iframe. Σκέψου το αντίστροφα … έχεις δαπανήσει μήνες να ολοκληρώσεις κάτι πώς θα σου φαινόταν αν κάποιος το έβαζε σε iframe και το πουλούσε σαν δικό του. Το ίδιο ακριβώς συμβαίνει και με τα δεδομένα, έμαθες πώς να χειρίζεσαι το cURL και ; Αν ο άλλος ήθελε να κάνει expose τα δεδομένα του ελεύθερα στην κοινότητα θα έφτιαχνε ένα web service.

Αν δεν το έχει κάνει από γραφειοκρατία ή από έλλειψη πόρων τότε απλά μπορείς να τον ρωτήσεις να το κάνεις για αυτόν … να το χρησιμοποιήσεις και εσύ και όποιος άλλος θέλει. Και εγώ έχω προτείνει σε ένα γνωστό ελληνικό site δεδομένων να το κάνω expose με web service και ανοιχτό στην κοινότητα (με χρήση δικού μου server) και περιμένω απάντηση πάνω από 4 μήνες και με έχουν στο περίμενε, αλλά είναι δικά τους τα δεδομένα και να μην κοροϊδευόμαστε όλοι όσοι έχουν γνώση καταλαβαίνουν τι έκανες.

papoukas
Δημοσιεύσεις: 76
Εγγραφή: 18 Ιαν 2011 23:24

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από papoukas » 29 Μαρ 2011 15:57

Τα παραπάνω όλα είναι σωστά και φυσικά αποτελεί κλοπή. Κλοπή όμως ποιου? Αν το κάνεις σε blog είναι καταδικαστέο. Όταν όμως μιλάμε για δημόσιους οργανισμούς τότε κλοπή είναι να λειτουργούν τα δικά τους site με τα δικά μου στοιχεία. Θα μου πει κάποιος μπορείς να μην το επιτρέψεις, φυσικά , αλλά θα πρέπει να κάνω εκ νέου αίτηση για αυτό. Τα συγκεκριμένα στοιχεία πρέπει να παρέχονται δωρεάν από το site μαζί με τα service για αυτό το σκοπό. Δεν μιλάμε για blog μιλάμε για στοιχεία από δημόσιο οργανισμό. Και φυσικά έχεις υποχρέωση να βάλει την πηγή.

Άβαταρ μέλους
mrpc
WebDev Moderator
Δημοσιεύσεις: 3393
Εγγραφή: 03 Μάιος 2000 03:00
Τοποθεσία: Εξάρχεια
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από mrpc » 29 Μαρ 2011 16:02

Δεν είναι τόσο απλά τα πράγματα. Ο ΟΤΕ (στο συγκεκριμένο κομμάτι τουλάχιστον) λειτουργεί σαν ιδιωτική εταιρεία.
Επίσης, ακόμα και να μην ήταν, τα δεδομένα και πάλι ανοίκουν στο δημόσιο και χρειάζεσαι άδεια χρήσης. Έτσι είναι η νομοθεσία, όσο και αν δεν συμφωνείς με αυτό.
Αν σου κάνει κάποιος μήνυση, άντε μετά να πεις στο δικαστή για δημόσια στοιχεία...

Άβαταρ μέλους
jpk
Δημοσιεύσεις: 441
Εγγραφή: 09 Μαρ 2011 21:17

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από jpk » 29 Μαρ 2011 16:14

Δεν θέλω να το τραβήξω το θέμα αλλά διάβασα δύο πράγματα που με κάνουν να προβληματίζομαι. Αν ο ΟΤΕ δεν ήταν ιδιωτική εταιρία και ήταν δημόσιο και τον έκλεβες δεν πειράζει επειδή έπρεπε να έχει κάνει expose τα δεδομένα του με web service ? . Συγνώμη φίλε αλλά κλέβοντας το κράτος κλέβεις και εμένα τον ηλίθιο που πληρώνω ΦΠΑ και ετήσιους φόρους. Έγραψες «πρέπει να παρέχονται δωρεάν» επιλογές είναι … υπάρχουν και άλλα sites με μεγάλη κίνηση και ανυπόγραφα με διαφημίσεις (γκουχου γκουχου μάλλον κρύωσα πιο φαρμακείο να διανυκτερεύει στην γειτονία μου) που απλά κάνουν την ίδια δουλειά… δεν θέλει πολύ μυαλό θράσος θέλει και να είσαι από τους τύπους που κλέβοντας εμάς τους υπόλοιπους να χαμογελάς και να λες ότι στην Ελλάδα πρέπει να πατάς σε δύο βάρκες ταυτόχρονα μία νομιμότητας και μία παρανομίας.

WSPNH
Δημοσιεύσεις: 97
Εγγραφή: 10 Μαρ 2006 12:52
Επικοινωνία:

OTE whitepages.gr scrapping , θα με πάνε μέσα;

Δημοσίευση από WSPNH » 29 Μαρ 2011 16:15

Υπάρχει το http://www.greekphones.info/ ή μάλλον υπήρχε γιατί βγάζει σφάλμα... Λογικά κάπως έτσι θα δούλευε. Μήπως έφαγε μήνυση και γιαυτό δεν δουλεύει;

Σκέφτομαι σοβαρά να σας δώσω το κώδικα. Open Source yeahhh... Και όποιος θέλει το χρησιμοποιεί με δική του ευθύνη...
http://xesemesa.gr ή http://arxwn.eu όπως και να έχει http://jbaron.gr

Απάντηση

Επιστροφή στο “PHP Προγραμματισμός”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες