Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Search Engine Optimization, Search Engine Positioning, Τρόποι προώθησης των σελίδων μας

Συντονιστές: WebDev Moderators, Super-Moderators, SEM Moderators

Απάντηση
Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27616
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από cordis » 22 Ιουν 2007 00:25

Καλό μου bot, γιατί μου σκίζεις τον server; Είναι ένα μόνιμο ερώτημα που κάνω το τελευταίο διάστημα που έχει ξυπνήσει το Slurp του Yahoo! και το MSNbot της microsoft.

Γενικά βλέπω κατά διαστήματα μέσα στα logs μου και ότι bot δω από άσχετες μηχανές αναζήτησης ή από τοπικές μηχανές που δεν έχουν σχέση με την Ελλάδα τα κόβω από τον server χωρίς πολλές κουβέντες.

Αν είναι Ελληνικό (έχω πιάσει και κάτι πανεπιστημιακά tests) στέλνω πρώτα e-mail στους κατόχους του κι αν δε λάβω απάντηση τα κόβω και αυτά.

Το θέμα δεν είναι μόνο το traffic, το οποίο το πληρώνουμε για να μας βλέπουν άνθρωποι και όχι bots, αλλά και το ότι τυχαίνει να μας την πέφτουν όλα μαζί και να γονατίζουν τον server. Όταν υπάρχουν 150 connection από bots μόνο στο freestuff.gr τότε ο Server δεν είναι και στα πιο χαλαρά του.

Η πιο σίγουρη και γρήγορη λύση είναι κα κόψει κανείς ακόμα και κάποιο από τα "μεγάλα" bots με τον παραπάνω τρόπο που κανονικά είναι για τα "κακά" bots.

Ένας άλλος τρόπος είναι με την γραμμή Crawl-delay μέσα στο robots.txt σας. Δηλαδή το bot να περιμένει τα δευτερόλεπτα που θα του πούμε για να διαβάσει την επόμενη σελίδα του site μας. Αυτός ο τρόπος είναι που δοκιμάζω κι εγώ τώρα.

Σίγουρα θα έχει αποτελέσματα στο ποιο ξεκούραστο πέρασμα των bots από τον server, αλλά θέλει προσοχή γιατί ταυτόχρονα σημαίνει ότι σε αυτές τις μηχανές αναζήτησης οι σελίδες σας δε θα ανανεώνονται συχνά.

Ένας αποδεκτός αριθμός είναι ανάμεσα στο 5 και στο 10, από εκεί και πάνω, απ' ότι λένε, σε ψιλοξεγράφουν.

Όποια αλλαγή γίνετε στο robots.txt δεν γίνετε αυτομάτως αντιληπτή από τα bots, αφήστε ένα διάστημα 2-3 εβδομάδων για να το χωνέψουν όλα.

Το Googlebot την γράφει κανονικά αυτήν την επιλογή και ο μόνος τρόπος να του πεις να περνάει πιο χαλαρά είναι μέσω του panel που έχει στα webmaster tools.

παράδειγμα robots.txt με την γραμμή Crawl-delay

Κώδικας: Επιλογή όλων

User-agent: MSNBot
Crawl-delay: 10
Disallow: 

User-agent: Slurp
Crawl-delay: 10
Disallow: 

User-agent: Teoma
Crawl-delay: 10
Disallow: 

User-agent: Gigabot
Crawl-delay: 10
Disallow: 

User-agent: Scrubby
Crawl-delay: 10
Disallow: 

User-agent: Robozilla
Crawl-delay: 10
Disallow: 

User-agent: KBroker
Crawl-delay: 10
Disallow:

User-agent: Ultraseek
Crawl-delay: 10
Disallow:

User-agent: *
Crawl-delay: 10
σχετικά:
Yahoo! Slurp
MSNbot
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

Άβαταρ μέλους
CyberCr33p
Honorary Member
Δημοσιεύσεις: 3194
Εγγραφή: 06 Νοέμ 1999 01:00
Τοποθεσία: Αθήνα
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από CyberCr33p » 22 Ιουν 2007 01:28

Η αντικαθιστάς τον apache με lighttpd και με 1GB RAM κρατάει πάνω από 1k ταυτόχρονες συνδέσεις.

Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27616
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από cordis » 22 Ιουν 2007 02:06

και την MySQL; :)
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

Άβαταρ μέλους
ksarm
Δημοσιεύσεις: 915
Εγγραφή: 22 Μάιος 2007 10:47

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από ksarm » 22 Ιουν 2007 09:58

με Sqllite? :P

αλλά μετά phpbb γιόκ

Gianniskriti
Δημοσιεύσεις: 25
Εγγραφή: 15 Ιουν 2007 22:32
Τοποθεσία: Ηράκλειο Κρήτης

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από Gianniskriti » 22 Ιουν 2007 11:13

To robots.txt το ανεβάζεις σε όλα τα σαϊτ? Η το έχεισ ανεβάσει με κάποιο τρόπο στο σέρβερ ώστε να πιάνει όλα τα σαϊτ?

Άβαταρ μέλους
ksarm
Δημοσιεύσεις: 915
Εγγραφή: 22 Μάιος 2007 10:47

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από ksarm » 22 Ιουν 2007 12:26

giannis δες εδώ: http://www.robotstxt.org/

έχει οτι πληροφορία θες ;)

Άβαταρ μέλους
CyberCr33p
Honorary Member
Δημοσιεύσεις: 3194
Εγγραφή: 06 Νοέμ 1999 01:00
Τοποθεσία: Αθήνα
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από CyberCr33p » 22 Ιουν 2007 14:06

cordis έγραψε:και την MySQL; :)
Δυστυχώς την mysql δεν την γλιτώνεις τόσο εύκολα. Πάντως μόνο και μόνο να αντικαταστήσεις τον web-server θα πέσει το load τουλάχιστον 3-4 φορές κάτω από το τωρινό. Πάντως για εσένα που έχεις τον server σε ελληνικό datacenter πιστεύω πιο πολύ σημασία έχει να μειώσεις και το bandwidth οπότε το να κόψεις τα bots είναι μονόδρομος.

Συγκεκριμένα σε ένα μικρό forum (25k posts) με traffic από 4-10GB το μήνα πιο πολύ traffic έκαναν οι μηχανές αναζήτησης παρά οι χρήστες. Αν και δεν το είχα ψάξει το θέμα πιστεύω ότι κάποιες μηχανές αναζήτησης μπερδεύονταν και έκαναν crawl τις ίδιες σελίδες ξανά και ξανά.

Gianniskriti
Δημοσιεύσεις: 25
Εγγραφή: 15 Ιουν 2007 22:32
Τοποθεσία: Ηράκλειο Κρήτης

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από Gianniskriti » 22 Ιουν 2007 14:47

ksarm έγραψε:giannis δες εδώ: http://www.robotstxt.org/

έχει οτι πληροφορία θες ;)
Σ' ευχαριστώ. Αλλά ξέρω τι είναι το robotσ.txt. Το χρησιμοποιώ κάθε μέρα σε siteσ που προωθώ . Δεν ξέρω όμως σε επίπεδο σερβερ τι παίζει. Εγώ το μόνο που κάνω είναι να το ανεβάζω με ftp στο root του κάθε σαϊτ.

Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27616
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από cordis » 22 Ιουν 2007 17:47

σε επίπεδο site είναι μόνο...

έτσι όπως τα λες ειναι CyberCr33p, πληρώνουμε traffic για τις μηχανές ποια...
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

Gianniskriti
Δημοσιεύσεις: 25
Εγγραφή: 15 Ιουν 2007 22:32
Τοποθεσία: Ηράκλειο Κρήτης

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από Gianniskriti » 22 Ιουν 2007 18:24

Ok thanks κατάλαβα. Δηλαδή προχωράω ως έχει!

Άβαταρ μέλους
dik_
Δημοσιεύσεις: 476
Εγγραφή: 07 Ιουν 2007 11:28

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από dik_ » 04 Ιούλ 2007 19:17

Cordis πώς πάει το FS; Μας έχουν σκίσει κι εμάς πρόσφατα τα μποτς. Μεγάλη και απότομη αύξηση όμως. Ξέρω επίσης και για το σάιτ γνωστού που μάλιστα ξέμεινε από bw την τελευταία βδομάδα του Ιουνίου. Έπαιξε κι εκείνο το τόπικ κάπου εδώ πρόσφατα από ένα μέλος που ρώταγε γι απότομη αύξηση επισκέψεων από εξωτερικό... Τι έγινε ρε παιδιά... hmm

Άβαταρ μέλους
JimKarvo
Δημοσιεύσεις: 497
Εγγραφή: 23 Ιούλ 2005 17:10
Τοποθεσία: Εξάρχεια!
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από JimKarvo » 04 Ιούλ 2007 19:56

Πολλές επιθέσεις στο site μου τουλάχιστων.. υπερβολικές επιθέσεις σε πολλά μεγάλα sites στην Ελλάδα... Κυρίως για να ρίξουν mysql και ότι μπορούν.. ελπίζω όχι για hack..

Άβαταρ μέλους
dik_
Δημοσιεύσεις: 476
Εγγραφή: 07 Ιουν 2007 11:28

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από dik_ » 04 Ιούλ 2007 21:21

Τα χοντρά σε μένα πάντως είναι από inktomi/yahoo. Και google έχω μόνιμα, αλλά όχι και 60-70 IPs συγχρόνως ν' αλωνίζουν!

Δε νομίζω αυτά τα μποτς να προσπαθούν να ρίξουν τα σάιτς... Κάτι άλλο παίζει...

Άβαταρ μέλους
JimKarvo
Δημοσιεύσεις: 497
Εγγραφή: 23 Ιούλ 2005 17:10
Τοποθεσία: Εξάρχεια!
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από JimKarvo » 04 Ιούλ 2007 23:07

Δεν ξέρω, αλλά σε εμένα το band Πάει 60-40.. το 60% πάει στα bots... δεν είναι περίεργο..?

Άβαταρ μέλους
fiskilis
Honorary Member
Δημοσιεύσεις: 14093
Εγγραφή: 16 Νοέμ 2003 22:44
Τοποθεσία: Athens
Επικοινωνία:

Βάζοντας ένα όριο στα Bots! ( Crawl-delay )

Δημοσίευση από fiskilis » 04 Ιούλ 2007 23:40

JimKarvo έγραψε:Δεν ξέρω, αλλά σε εμένα το band Πάει 60-40.. το 60% πάει στα bots... δεν είναι περίεργο..?
να ρωτησω εδω κατι
για ποιο site μιλας και τι το ενδιαφερον εχει μεσα για να τραβα τα boots ?

λοιπον αυτο ειναι το δικο μου ξεσκισμα για εναν μηνα που ειχα αρκετη κινηση σχετικα
βλεπω οτι το google μου εφαγε σχεδον το 10% του bandwith στον μηνα μεσα και μακρα απο καθε αλλο σκατουλι

Εικόνα

Απάντηση

Επιστροφή στο “Μηχανές αναζήτησης & SEO”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες