Ιδιαίτερα υψηλό bandwidth από το Google bot

Τεχνικές και μόνο Συζητήσεις για WEB hosting servers, Mail servers, DNS servers. Όχι αναζήτηση υπηρεσιών εδώ!

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
changlee
Δημοσιεύσεις: 370
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από changlee » 01 Αύγ 2016 14:05

Καλό μήνα!
Δεν ξέρω αν το έχετε προσέξει σε κάποιο από τα website σας, αλλά σε ορισμένα από τα δικά μου, παρατηρώ ιδιαίτερα υψηλό bandwidth από το Google Bot.

Παρά το ότι το μείωσα, να κάνει crawl /ώρα αυτό προκαλεί κατά μέσο όρο πάνω από 10GB μηνιαίως.

Τι κατάσταση είναι αυτή; :(
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

ailouros
Δημοσιεύσεις: 212
Εγγραφή: 08 Ιούλ 2015 17:44

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από ailouros » 03 Αύγ 2016 13:11

Είσαι σίγουρος ότι είναι το googlebot κι όχι κάποιο τρίτο που χρησιμοποιεί τον ίδιο user agent; Έχεις ψάξει τις IP να βεβαιωθείς ότι είναι της Google;

Άβαταρ μέλους
changlee
Δημοσιεύσεις: 370
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από changlee » 05 Αύγ 2016 08:54

Αυτό το βλέπω μέσω awstats από cPanel. Πως προτείνεις να το ψάξω;
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από alou » 05 Αύγ 2016 13:54

Στο είπε, για αρχή να ψάξεις τις IP να δεις που ανήκουν.

Άβαταρ μέλους
changlee
Δημοσιεύσεις: 370
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από changlee » 08 Αύγ 2016 09:38

To Awstats μου βγάζει στην κορυφή χρήσης bandwidth το Googlebot με χρήση 12GB.

Τι ακριβώς προτείνετε να κάνω;
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

ailouros
Δημοσιεύσεις: 212
Εγγραφή: 08 Ιούλ 2015 17:44

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από ailouros » 09 Αύγ 2016 23:26

Δες την/τις IP του GoogleBot και κάνε reverse dns lookup. Ενδεικτικά sites που κάνουν αυτή τη δουλειά:
https://mxtoolbox.com/ReverseLookup.aspx
https://remote.12dt.com/

Άβαταρ μέλους
changlee
Δημοσιεύσεις: 370
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από changlee » 26 Αύγ 2016 13:08

ailouros έγραψε:Δες την/τις IP του GoogleBot...
Αυτό ακριβώς ρωτάω πως θα γίνει; Εννοώ με ποιον τρόπο προτείνεις εσύ;
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

Άβαταρ μέλους
CyberCr33p
Honorary Member
Δημοσιεύσεις: 3194
Εγγραφή: 06 Νοέμ 1999 01:00
Τοποθεσία: Αθήνα
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από CyberCr33p » 26 Αύγ 2016 23:12

Από τα access logs του web-server.

Άβαταρ μέλους
changlee
Δημοσιεύσεις: 370
Εγγραφή: 13 Φεβ 2005 00:46
Τοποθεσία: Πειραιάς
Επικοινωνία:

Ιδιαίτερα υψηλό bandwidth από το Google bot

Δημοσίευση από changlee » 28 Αύγ 2016 13:13

Εκεί βλέπω το Google bot να έχει το μεγαλύτερο bandwidth. Χωρίς να μου λέει την ΙΡ του.

Και μετά βλέπω μερικές ΙΡ χύμα...
Τεχνολογική Ανάπτυξη (1μ.Χ. - 1975) = Τεχνολογική Ανάπτυξη (1975 - Σήμερα)

Μπορείτε να με βρείτε στην κατασκευή ιστοσελίδων BLB.gr | Δωρεάν Disavow File

Απάντηση

Επιστροφή στο “Apache, IIS, DNS Servers”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 1 επισκέπτης