80legs bots crawler

Search Engine Optimization, Search Engine Positioning, Τρόποι προώθησης των σελίδων μας

Συντονιστές: WebDev Moderators, Super-Moderators, SEM Moderators

Απάντηση
Άβαταρ μέλους
Burned4
Δημοσιεύσεις: 324
Εγγραφή: 21 Σεπ 2007 12:50
Επικοινωνία:

80legs bots crawler

Δημοσίευση από Burned4 » 11 Νοέμ 2010 15:16

Καλησπέρα,

Σήμερα άνοιξα το site μου και στις 10 το πρωι βλέπω 400 online επισκέπτες όταν συνήθως έχει γύρω στους 40-60.

Μετά την αρχική χαρά μου :hammer: άρχισα να το ψάχνω λίγο και είδα ότι οι περισσότερες ΙΡ που ήταν συνδεμένες ήταν από Αμερική και προερχόταν από bots με agent :

Κώδικας: Επιλογή όλων

Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html)
Από ότι είδα στη σελίδα τους είναι custom crawlers όπου μπορεί να πάει κάποιος και να ζητήσει να σκανάρουν τα bots της εταιρίας οποιδήποτε site ή keyword στο web.

To κακό είναι ότι έχουν άπειρες ΙΡ και δεν μπορώ να τις μπλοκάρω από το .htaccess.

Έτσι είχα για κανένα 2ωρο 30-40 bots να ρουφάνε το site μου.

Τελικά το κατάφερα μέσω

Κώδικας: Επιλογή όλων

RewriteCond %{HTTP_USER_AGENT} ^.*80legs.* 
RewriteRule (.*) http://www.80legs.com/$1 [R=301,L,NC]
Και βάζοντας στο robots :

Κώδικας: Επιλογή όλων

User-agent: 008
Disallow: /
Το έχει πετύχει κάποιος άλλος;
You can do anything, but not everything.

Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27626
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

80legs bots crawler

Δημοσίευση από cordis » 11 Νοέμ 2010 16:02

δε το έχω δει, αλλά το προσθέτω στα bad bots.. :)

δες κι εδώ .htaccess Καλά και "κακά" spiders
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

Απάντηση

Επιστροφή στο “Μηχανές αναζήτησης & SEO”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες