Δημιουργία Robots.txt Αρχείου

Τεχνικές και μόνο Συζητήσεις για WEB hosting servers, Mail servers, DNS servers. Όχι αναζήτηση υπηρεσιών εδώ!

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
$nikos$
Δημοσιεύσεις: 180
Εγγραφή: 10 Μάιος 2007 15:18
Τοποθεσία: Θεσσαλονίκη
Επικοινωνία:

Δημιουργία Robots.txt Αρχείου

Δημοσίευση από $nikos$ » 05 Απρ 2013 16:36

Καλησπέρα
Έχω ένα προβληματάκι με κάποια "Unknown robot" που μου τρώνε σχεδόν όλο το bandwidth του μήνα.. Αυτό που έχω καταλάβει μέσα από διάφορες συζητήσεις και φόρουμ είναι ότι πρέπει να φτιάξω το αρχείο Robots.txt και να το "εγκαταστήσω" στον σέρβερ μου..

Αυτό που θέλω να μάθω είναι αν το Robots.txt θα διορθώσει την κατάσταση και εάν ναι, τότε πως πρέπει να το φτιάξω..? Υπάρχει κάποια έτοιμη λίστα? Ή μπορώ να το κατεβάσω από κάπου έτοιμο?
Ευχαριστώ..

alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

Δημιουργία Robots.txt Αρχείου

Δημοσίευση από alou » 05 Απρ 2013 16:55

Εξαρτάται για ποιο λόγο δημιουργείται το πρόβλημα. Το robots.txt λέει στο spider ποια directories να ΜΗΝ κάνει crawl.

Συνήθως το χρησιμοποιείς για να μην ψαχολεύει directories με libraries εφαρμογών, διαχείριση, test που πιθανώς κάνεις κλπ.

Πάντως, αν το google bot σου τρώει 100mb και τα unknown σου τρώνε 1gb λέμε τώρα, κοίτα τις IP τους και πιθανώς ακόμα και να αποκλείσεις κάποια.

Άβαταρ μέλους
$nikos$
Δημοσιεύσεις: 180
Εγγραφή: 10 Μάιος 2007 15:18
Τοποθεσία: Θεσσαλονίκη
Επικοινωνία:

Δημιουργία Robots.txt Αρχείου

Δημοσίευση από $nikos$ » 05 Απρ 2013 16:58

Unknown robot (identified by 'bot*') --- > 7.16 GB
Googlebot --> 2.69 GB
Αυτά..
Τι πρέπει να κάνω??

alou
Script Master
Δημοσιεύσεις: 1374
Εγγραφή: 24 Αύγ 2007 19:52
Επικοινωνία:

Δημιουργία Robots.txt Αρχείου

Δημοσίευση από alou » 05 Απρ 2013 19:36

Τι έχεις μέσα στην εγκατάσταση του site? υπάρχουν κομμάτια που δεν πρέπει / χρειάζεται να βλέπουν τα robots?

Για αρχή, αποκλείεις ότι δεν χρειάζεται μέσω του robots.txt, μετά δες τα ip των unknown και κάνε ένα ip lookup. Φαίνεται κάτι legitimate / κάτι που θες? δες κάποιο άλλο robots.txt πχ freestuff.gr/robots.txt και προσπάθησε να δεις τι πρέπει να κάνεις για τις διάφορες περιπτώσεις.

Άβαταρ μέλους
$nikos$
Δημοσιεύσεις: 180
Εγγραφή: 10 Μάιος 2007 15:18
Τοποθεσία: Θεσσαλονίκη
Επικοινωνία:

Δημιουργία Robots.txt Αρχείου

Δημοσίευση από $nikos$ » 05 Απρ 2013 22:41

Ο σέρβερ έχει μέσα 13wordpress του τύπου:
www.*.com/gr/
www.*.com/en/
www.*.com/it/
www.*.com/ru/
ktl...
Τι μπορεί να είναι κομμάτια που δεν χρειάζεται να βλέπουν??
π.χ. to www.*.com/gr/wp-content/plugins/
χρειάζεται να το αποκλείσω?
Αν ναι, τότε πώς το συντάσσω?? (Πως να το γράψω μέσα στο αρχείο εννοώ)

Και κάτι ακόμα.. Πως βλέπω την ip από τα unknown??

Απάντηση

Επιστροφή στο “Apache, IIS, DNS Servers”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες