BingBot hammering

Τεχνικές και μόνο Συζητήσεις για WEB hosting servers, Mail servers, DNS servers. Όχι αναζήτηση υπηρεσιών εδώ!

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

BingBot hammering

Δημοσίευση από alou » 16 Δεκ 2013 11:42

Σε κάποιο site, χωρίς να συντρέχει λόγος, το bandwidth εκτοξεύτηκε στο θεό και ψάχνοντας είδα ότι οφείλεται σε bot, που κατανάλωσε σε 14 μέρες 45G bandwidth!!! (και resources βέβαια γιατί μιλάμε για 100άδες request / minute 24/7).

Κοιτάω τα logs, βλέπω ότι δηλώνει BingBot. Λέω θα είναι spoofed και μπλέξαμε, γιατί ήταν από πολλές IP. Κοιτάω όμως όλες τις IP και διαπιστώνω ότι ήταν της Microsoft...

Η πρώτη κίνηση ήταν στο robots.txt, disallow / για το bingbot αλλά δεν φάνηκε να παίρνει χαμπάρι. Πιο δραστικό βήμα, block 3-4 ip range και θα δω αύριο τι γίνεται αλλά δεν μου κάθονται καλά τέτοιες λύσεις...

Ψάχνοντας λίγο (στο google βέβαια :lol: ), είδα ότι το θέμα αυτό έχει απασχολήσει πολύ κόσμο (bingbot hammering, bingbot ignoring robots.txt, msn bot eating bandwidth) και δεν ξέρω αν οφείλεται κάπου συγκεκριμένα, έχει κανείς παρόμοια εμπειρία?

Άβαταρ μέλους
Burned4
Δημοσιεύσεις: 324
Εγγραφή: 21 Σεπ 2007 12:50
Επικοινωνία:

BingBot hammering

Δημοσίευση από Burned4 » 16 Δεκ 2013 13:07

Ναι, έχει θέμα το bing μιας και μπορεί να σου έρθουν χιλιάδες bot ταυτόχρονα.

Ενα site, το "έριχναν" για 1 ολόκληρη μέρα μέχρι να λύσω το πρόβλημα.

DDos από Microsoft :)

Το έλυσα προσθέτοντας στο robots.txt το παρακάτω:

Κώδικας: Επιλογή όλων

User-agent: msnbot
Crawl-delay: 5
You can do anything, but not everything.

alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

BingBot hammering

Δημοσίευση από alou » 18 Δεκ 2013 10:00

Θενκνς, θα το δοκιμάσω και αυτό αλλά κατάλαβα ότι γράφει στα @@ του το robots.txt... εκτός αν δηλώνει bingbot και ακούει σε msnbot μόνο ? τραγικοί!

alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

BingBot hammering

Δημοσίευση από alou » 10 Ιαν 2014 17:33

ΟΚ έχει ξεπεράσει τα όρια του γελοίου το θέμα, πέρα από το ότι αγνοεί πλήρως ότι δηλώσεις γίνονται στο robots.txt (και την υπόδειξη του Burned4, δυστυχώς), συνεχίζει με IP (MS registered) που δεν είχα μπλοκάρει (και πρόσθεσα στα IP tables πλέον). 20 gb bw ένα bot σε 10 μέρες, με μπλοκαρισμένες τις περισσότερες ip που χρησιμοποιεί...

Γιατί δεν το κλείνουν το μαγαζί; μόνο προβλήματα δημιουργεί.

Άβαταρ μέλους
webdevgr
Δημοσιεύσεις: 697
Εγγραφή: 11 Δεκ 2010 17:25
Τοποθεσία: Ηράκλειο
Επικοινωνία:

BingBot hammering

Δημοσίευση από webdevgr » 10 Ιαν 2014 21:40

Δυστυχώς έχει ξεφύγει η κατάσταση.... το mod_evasive δεν προλαβαίνει να βάζει σε blacklist.

Το αστείο είναι ότι (ευτυχώς) έχει βάλει στο μάτι μόνο το ένα vps από τα 2 που έχω στον ίδιο server...

Απάντηση

Επιστροφή στο “Apache, IIS, DNS Servers”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες