Άγνωστα Bots/Crawlers/Spiders που έχετε πετύχει στα site σας

Search Engine Optimization, Search Engine Positioning, Τρόποι προώθησης των σελίδων μας

Συντονιστές: WebDev Moderators, Super-Moderators, SEM Moderators

Απάντηση
Άβαταρ μέλους
dimsis
Reporter
Δημοσιεύσεις: 7994
Εγγραφή: 25 Ιούλ 2001 03:00

Άγνωστα Bots/Crawlers/Spiders που έχετε πετύχει στα site σας

Δημοσίευση από dimsis » 12 Σεπ 2009 16:06

Κάθε φορά που κάνω ένα lookup στις ip των επισκεπτών στο log πετυχαίνω και μερικά botάκια. Το googlebot, search.msn.com και της yahoo (crawl.yahoo.net) είναι σχεδόν μόνιμοι επισκέπτες, αλλά ώρες ώρες βρίσκω και μερικά άλλα περίεργα bots / crawlers π.χ. τώρα πέτυχα μέσα:

http://www.entireweb.com/ ( c02.entireweb.com )
http://www.yandex.ru/ ( spider06.yandex.ru )
http://www.mchsi.com/ ( 173-27-252-47.client.mchsi.com )

Εδώ μπορείτε να βρείτε και μια πολύ ενημερωμένη βάση δεδομένων με πολλούς List of User-Agents (Spiders, Robots, Crawler, Browser): http://www.user-agents.org/

Άβαταρ μέλους
ThyClub
Honorary Member
Δημοσιεύσεις: 5312
Εγγραφή: 17 Νοέμ 2003 00:21
Τοποθεσία: Hell's Kitchen
Επικοινωνία:

Άγνωστα Bots/Crawlers/Spiders που έχετε πετύχει στα site σας

Δημοσίευση από ThyClub » 12 Σεπ 2009 16:15

Qoolsoft.gr έγραψε: feedvalidator
java
pycurl
yandex
ruby
ginxbot
aiderss
twitturly
docomo
spyder
snapbot
linkparser
facebookexternalhit
magpierss
netmechanic
surveybot
uberbot
cynthia
simplepie
googlefriendconnect
swooglebot
jigsaw
metatagrobot
wordpress
yandexsomething
shrinktheweb
robozilla
htmlparser
curl
gaisbot
spellr
php
smart
nutch
ichiro
lexxebot
findlinks
yeti
wget
oozbot
mlbot
grabber
linkwalker
huasai
links
gingercrawler
librabot
favitreader
postrank
eurobot
wyobot
:P

alexsoft

Άγνωστα Bots/Crawlers/Spiders που έχετε πετύχει στα site σας

Δημοσίευση από alexsoft » 13 Σεπ 2009 00:42

Από το εσωτερικό bot log του Ascoos που δουλεύει στο athos.gr

Mozilla/5.0 (compatible; YoudaoBot/1.0; /http://www.youdao.com/help/webmaster/spider/; )

Mozilla/5.0 (compatible; monitis.com - free monitoring service; /http://monitis.com)

Mozilla/5.0 (compatible; Tagoobot/3.0; +http://www.tagoo.ru)

Απάντηση

Επιστροφή στο “Μηχανές αναζήτησης & SEO”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες