.htaccess Καλά και "κακά" spiders

Τεχνικές και μόνο Συζητήσεις για WEB hosting servers, Mail servers, DNS servers. Όχι αναζήτηση υπηρεσιών εδώ!

Συντονιστές: WebDev Moderators, Super-Moderators

Απάντηση
Άβαταρ μέλους
Banavas
Script Master
Δημοσιεύσεις: 1367
Εγγραφή: 21 Νοέμ 2004 20:25
Επικοινωνία:

.htaccess Καλά και "κακά" spiders

Δημοσίευση από Banavas » 12 Νοέμ 2008 22:03

Για ανεπιθύμητες εγγραφές μελών βάλε αυτόματη επιβεβαίωση, ενεργοποίηση λογαριασμού, μέσω email. Τα bots ποτέ δεν επιβεβαιώνουν το λογαριασμό γιατί ποτέ δεν παίρνουν το email επιβεβαίωσης.

Για ανεπιθύμητες αποστολές σε φόρμες επικοινωνίας κλπ από spammers, προτείνω να βάλεις ένα κόφτη σε όσες αποστολές περιέχουν URL αν αυτό δεν σε πειράζει. Το 99,99% των spamm αποστολών σε φόρμες περιέχουν URL προς άλλα site.
Happy coding....
Μάρκος
http://lasernet.gr

Άβαταρ μέλους
inertia
Δημοσιεύσεις: 93
Εγγραφή: 02 Φεβ 2006 00:24
Τοποθεσία: Αθήνα-Σύρος
Επικοινωνία:

.htaccess Καλά και "κακά" spiders

Δημοσίευση από inertia » 07 Αύγ 2009 03:10

Χαίρετε φίλοι!!

Έχω μερικές μικρές απορίες, μιας και γίνεται εδώ αναφορά στα "κακά" Bots και crawlers..
Βρήκα και:
- http://www.askapache.com/htaccess/fight ... pache.html
- http://underscorebleach.net/jotsheet/20 ... -blacklist
- http://www.yellowpipe.com/yis/tools/rob ... robots.php


:arrow: Θα ήθελα να ρωτήσω, σχετικά με το ^ia_archiver bot, που προέρχεται (απ΄όσο αναφέρεται) από το InternetArchive ( http://www.archive.org/ )...
Ένας λόγος που να μην θέλει κάποιος να γίνει αντιγραφή όλο το site, είναι σαφής και κατανοητός, ωστόσο, σε περίπτωση που κάποιος επιθυμεί κάποιο μέρος (ή ως κάποιο depth) να γίνει η καταχώρηση στο archive.org (π.χ. για λόγους ύπαρξης reference, ή για το μοίρασμα υλικού για εκπαιδευτικούς ή παρόμοιους σκοπούς), πόσο "ασφαλές" είναι να αφήσουμε access στο bot αυτο; Επίσης, υπάρχει κίνδυνος το συγκεκριμένο bot να δημιουργήσει μεγάλη κατανάλωση bandwidth με αποτέλεσμα, (σε Low Bandwidth γραμμή), να "σέρνεται" η εκάστοτε σελίδα στους κανονικούς-φυσικούς επισκέπτες; Έχω δει πως στο robots.txt μπορεί κανείς να προσθέσει ένα time-limit για ορισμένους βέβαια crawlers..
(π.χ. Crawl-delay: 3.0)... γίνεται τπτ με αυτό, υπάρχουν -αν γνωρίζετε- άλλες εναλλακτικές;

:arrow: Επίσης, και με αφορμή τη σελίδα: http://www.askapache.com/htaccess/fight ... pache.html όπου μπορείς να τοποθετήσεις referrers συγκεκριμένα, αν κατάλαβα καλά, π.χ.:

Κώδικας: Επιλογή όλων

SetEnvIfNoCase Referer ronnieazza.com spammer=yes
SetEnvIfNoCase Referer highprofitclub spammer=yes
SetEnvIfNoCase Referer dvdsqueeze.com spammer=yes
η ερώτησή μου είναι αν είναι αξιόπιστο να "εξετάζουμε" πιθανούς referrers με το εργαλείο της Google: "safebrowsing", π.χ. για το freestuff.gr
http://www.google.com/safebrowsing/diag ... eestuff.gr

:arrow: Υπάρχουν άλλες εναλλακτικές υπηρεσίες που να "αξιολογούν" την ποιότητα σελίδων, ώστε π.χ. αν κάποιο domain/site είναι σε "μαύρη λίστα", να τα προσθέσει κανείς στο .htacess αρχείο του?


Ξέρω πως ρώτησα πολλά, προσπάθησα να είναι όσο γίνεται πιο συγκεκριμένα και σαφή, ελπίζω να μην σας κουράζω! Ευχαριστώ εκ των προτέρων για το όποιο ενδιαφέρον! :D
βάλε στόχο το φεγγάρι...ακόμα και αν "αποτύχεις" θα βρεθείς ανάμεσα στ'αστέρια
Εικόνα

Άβαταρ μέλους
B_Dark
Δημοσιεύσεις: 321
Εγγραφή: 27 Ιαν 2006 04:45
Τοποθεσία: Center Of Athens

.htaccess Καλά και "κακά" spiders

Δημοσίευση από B_Dark » 24 Αύγ 2012 22:04

Ενημερωμένη λίστα 2012 με όλα τα spiders Που πρέπει να μπλοκάρουμε?
Music is the spirit of love, happiness and life...


Άβαταρ μέλους
B_Dark
Δημοσιεύσεις: 321
Εγγραφή: 27 Ιαν 2006 04:45
Τοποθεσία: Center Of Athens

.htaccess Καλά και "κακά" spiders

Δημοσίευση από B_Dark » 25 Αύγ 2012 15:48

στο δεύτερο link έχει μια λίστα "Original Bad Bot / Web Scraper List ^" ή όπου δεν περιέχονται ούτε στα παραπάνω που δείχνει ούτε στο πρώτο link, μήπως πρέπει να φτιάξω μόνος μου την εντολή με όλα? επίσης πια είναι πιο γρήγορη SetEnvIfNoCase ^ ή RewriteRules ^?
Music is the spirit of love, happiness and life...

Απάντηση

Επιστροφή στο “Apache, IIS, DNS Servers”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες