Πρόβλημα με GoogleBot!

Η μηχανή αναζήτησης Google.

Συντονιστές: WebDev Moderators, Super-Moderators, SEM Moderators

Απάντηση
chris_psycho
Δημοσιεύσεις: 67
Εγγραφή: 22 Μαρ 2006 02:10
Τοποθεσία: Θεσσαλονίκη

Πρόβλημα με GoogleBot!

Δημοσίευση από chris_psycho » 13 Αύγ 2007 14:24

Ρε παιδιά εγώ για τον Αύγουστο μέχρι τώρα έχω 5.72 Gb googlebot από τα 8.2 συνολικά...με γ....ει κανονικά εμένα...τι να κάνω??

Καμιά βοήθεια? Το site είναι phpbb forum!

Ευχαριστώ


ΥΓ. Τον Ιούλιο από τα 28 GB τα 21 GB ήταν από το GoogleBot...τα άλλα bots είναι πολύ πολύ χαμηλά δεν έχω πρόβλημα...καμιά βοήθεια???
Εικόνα
Επιτέλους το ΠΑνεπιστήμιο ΜΑΚεδονίας αποκτά το Forum του...
(13/3 Το Pamak αποκτά το σπίτι του!

gianpan
Δημοσιεύσεις: 275
Εγγραφή: 03 Ιουν 2006 16:53
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από gianpan » 13 Αύγ 2007 16:00

Πήγαινε στο google webmaster tools και βάλε το crawl rate σε normal ή slow. Εαν δεν βοηθήσει αυτό μπορείς να δοκιμάσεις απο το robots.txt.

chris_psycho
Δημοσιεύσεις: 67
Εγγραφή: 22 Μαρ 2006 02:10
Τοποθεσία: Θεσσαλονίκη

Πρόβλημα με GoogleBot!

Δημοσίευση από chris_psycho » 13 Αύγ 2007 18:01

gianpan έγραψε:Πήγαινε στο google webmaster tools και βάλε το crawl rate σε normal ή slow. Εαν δεν βοηθήσει αυτό μπορείς να δοκιμάσεις απο το robots.txt.
Κατ'αρχάς σε ευχαριστώ πολύ που απάντησες! Το crawl rate έχει κανά 2 μέρες που το έβαλα στο slow αλλά δεν είδα διαφορά ακόμη! Στο robot.txt τι αλλαγές να κάνω δηλαδή?

(Μέχρι στιγμής δεν έχω κανένα αρχείο robot.txt στο root μου)

Και πάλι ευχαριστώ
Εικόνα
Επιτέλους το ΠΑνεπιστήμιο ΜΑΚεδονίας αποκτά το Forum του...
(13/3 Το Pamak αποκτά το σπίτι του!

gianpan
Δημοσιεύσεις: 275
Εγγραφή: 03 Ιουν 2006 16:53
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από gianpan » 13 Αύγ 2007 20:23

http://www.freestuff.gr/forums/viewtopi ... torder=asc

δες εδώ βασικά, μπορείς να το blockareis εντελώς.

Άβαταρ μέλους
CyberCr33p
Honorary Member
Δημοσιεύσεις: 3195
Εγγραφή: 06 Νοέμ 1999 01:00
Τοποθεσία: Αθήνα
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από CyberCr33p » 30 Αύγ 2007 21:16

Σε ένα σχετικά μικρό forum το Googlebot τον Αύγουστο έφαγε: 13.92GB

Οι χρήστες έφαγαν: 1.91GB

Άβαταρ μέλους
Rosida
Δημοσιεύσεις: 179
Εγγραφή: 08 Ιαν 2004 13:12
Τοποθεσία: Θεσσαλονίκη
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Rosida » 16 Σεπ 2007 01:06

Χρησιμοποιείς php_sessions στα URLs. Αυτό μεγαλώνει αμέτριτα τον αρυθμό σελίδων...
Π.χ. http://www.pamakhouse.gr/pamak/index.ph ... d727c4983f

Κόψ' το sid=9e03b0fa44438985eeaf34d727c4983f

Υπάρχουν έτοιμες λύσεις για το phpBB, είμαι σήγουρη

Άβαταρ μέλους
Webnauts
Δημοσιεύσεις: 85
Εγγραφή: 23 Σεπ 2003 00:38
Τοποθεσία: Germany
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Webnauts » 17 Σεπ 2007 08:31

Google recommends:

Make sure that your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.
Optimizing for Search Engines, with Humans in Mind.
SEO Workers Professional Consulting Company | SEO Analysis Tool | SEO Articles & Tutorials

Άβαταρ μέλους
selemeles
Δημοσιεύσεις: 464
Εγγραφή: 23 Νοέμ 2006 12:42
Τοποθεσία: Άνω Λιόσια
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από selemeles » 17 Σεπ 2007 20:16

Webnauts έγραψε:Google recommends:

Make sure that your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.
Μεγάλε πως το βλέπεις αυτό και πως το αλλάζεις και τι βάζεις??? (πολλα μαζεμένα σε ρώτησα) :pint:

Λοιπόν και εγώ έχω το ίδιο προβ στο www.en-garde.gr και μάλιστα από αρχές καλοκαιριού, μέχρι τότε όλα ήταν μια χαρά!!!

Στο robots.txt να μπλοκάρουμε τελείως το /phpbbforum/ για παράδειγμα??
:: Blue Webeyes :: www.bwe.gr
-----------------------------------------------------
έπιπλα κουζίνας

Άβαταρ μέλους
Webnauts
Δημοσιεύσεις: 85
Εγγραφή: 23 Σεπ 2003 00:38
Τοποθεσία: Germany
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Webnauts » 17 Σεπ 2007 20:37

selemeles έγραψε:
Webnauts έγραψε:Google recommends:

Make sure that your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.
Μεγάλε πως το βλέπεις αυτό και πως το αλλάζεις και τι βάζεις??? (πολλα μαζεμένα σε ρώτησα) :pint:

Λοιπόν και εγώ έχω το ίδιο προβ στο www.en-garde.gr και μάλιστα από αρχές καλοκαιριού, μέχρι τότε όλα ήταν μια χαρά!!!

Στο robots.txt να μπλοκάρουμε τελείως το /phpbbforum/ για παράδειγμα??
If they are bad bots, robots.txt would not be great help, as they are clever enough to ignore them. If you know their IPs or the domain names you can block them in you .htaccess assuming that you are on an Apache server.

Here is some information which can help you out: http://diveintomark.org/archives/2003/0 ... go_to_hell
Optimizing for Search Engines, with Humans in Mind.
SEO Workers Professional Consulting Company | SEO Analysis Tool | SEO Articles & Tutorials

Άβαταρ μέλους
Webnauts
Δημοσιεύσεις: 85
Εγγραφή: 23 Σεπ 2003 00:38
Τοποθεσία: Germany
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Webnauts » 17 Σεπ 2007 20:49

If you are sure that it is a problem with the Googlebot go into your webmaster tools and check that you should get crawled slower.

If you cannot do that, to add in the head of your files:

Κώδικας: Επιλογή όλων

<?php
$contentDate = filemtime&#40;__FILE__&#41;;
$ifModifiedSince = isset&#40;$_SERVER&#91;'HTTP_IF_MODIFIED_SINCE'&#93;&#41; ? stripslashes&#40;$_SERVER&#91;'HTTP_IF_MODIFIED_SINCE'&#93;&#41; &#58; false;
if &#40;$ifModifiedSince && strtotime&#40;$ifModifiedSince&#41; >= $contentDate&#41; &#123;
    header&#40;'HTTP/1.0 304 Not Modified'&#41;;
    die; // stop processing
&#125;
$lastModified = gmdate&#40;'D, d M Y H&#58;i&#58;s', $contentDate&#41; . ' GMT';
header&#40;'Last-Modified&#58; ' . $lastModified&#41;;
header&#40;'Expires&#58; Sun, 19 Aug 1962 08&#58;00&#58;00 GMT'&#41;;
?>
You must figure that out if you have conflicts with the phpBB code.

We recently developed a code to ban faked Googlebots, but we do not publish that infomartion, as we provide that only to our customers. But I am sure all tips above should help.

Here is an alternative tool to create .htaccess deny rules against specific robots ir you know their IP or host name: http://www.htaccesstools.com/block-hitbots/ VERY SIMPLE!!!
Optimizing for Search Engines, with Humans in Mind.
SEO Workers Professional Consulting Company | SEO Analysis Tool | SEO Articles & Tutorials

Άβαταρ μέλους
Webnauts
Δημοσιεύσεις: 85
Εγγραφή: 23 Σεπ 2003 00:38
Τοποθεσία: Germany
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Webnauts » 17 Σεπ 2007 20:54

CyberCr33p έγραψε:Σε ένα σχετικά μικρό forum το Googlebot τον Αύγουστο έφαγε: 13.92GB

Οι χρήστες έφαγαν: 1.91GB
How can you tell it wasen't a faked Googlebot. We had already 2 visits of that kind the last 4 days. ;)
Optimizing for Search Engines, with Humans in Mind.
SEO Workers Professional Consulting Company | SEO Analysis Tool | SEO Articles & Tutorials

Άβαταρ μέλους
Webnauts
Δημοσιεύσεις: 85
Εγγραφή: 23 Σεπ 2003 00:38
Τοποθεσία: Germany
Επικοινωνία:

Πρόβλημα με GoogleBot!

Δημοσίευση από Webnauts » 17 Σεπ 2007 20:56

If you are all serious against spammers, etc then why don't you join for free this project: http://www.projecthoneypot.org?rf=32149
Optimizing for Search Engines, with Humans in Mind.
SEO Workers Professional Consulting Company | SEO Analysis Tool | SEO Articles & Tutorials

Απάντηση

Επιστροφή στο “Google”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες