Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Search Engine Optimization, Search Engine Positioning, Τρόποι προώθησης των σελίδων μας

Συντονιστές: WebDev Moderators, Super-Moderators, SEM Moderators

Απάντηση
Άβαταρ μέλους
fiskilis
Honorary Member
Δημοσιεύσεις: 14093
Εγγραφή: 16 Νοέμ 2003 22:44
Τοποθεσία: Athens
Επικοινωνία:

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από fiskilis » 25 Φεβ 2006 23:35

τι πρεπει να περιλαμβανει ενα robots.txt σε μια ιστοσελιδα για να ειναι χρησιμο στο google και σε αλλες μηχανες ??

smiley
Δημοσιεύσεις: 1382
Εγγραφή: 18 Μαρ 2005 14:02

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από smiley » 26 Φεβ 2006 05:18

Ενδεικτικά:

Κώδικας: Επιλογή όλων

#
# Freestuff.gr
# Nothing very exciting here for you I'm afraid.
# Mainly to stop the search engines crawling pages in the forum it doesn't need to.

User-agent: *
Disallow: /stats/

# ...
# ...
# ...


#
#Despictable and evil robots to keep out.

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind 
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /


Άβαταρ μέλους
Figaro
Honorary Member
Δημοσιεύσεις: 2706
Εγγραφή: 08 Φεβ 2004 19:48

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από Figaro » 26 Φεβ 2006 12:15

τι πρεπει να περιλαμβανει ενα robots.txt σε μια ιστοσελιδα για να ειναι χρησιμο στο google και σε αλλες μηχανες ??

Sto robots.txt vazeis entoles otan theleis na min afiseis ena i perisotera bots na mpoun sto site sou i se kapia apo tis selides, subfolders, subdomains tou site sou.
Xrisimotita gia kalitera apotelesmata den exei, apla empodizei ta crawlers kai ta bots na diavasoun periexomeno.

Rikse mia matia sti google gia "robots.txt tutorial" kai tha vreis oles tis entoles.


Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27621
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από cordis » 26 Φεβ 2006 16:36

μπορείς εναλλακτικά να βάλεις ένα κενό robots.txt απλά για να μη παίρνεις μηνύματα λάθους από τις μηχανές που το ψάχνουν.
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

Άβαταρ μέλους
Rosida
Δημοσιεύσεις: 179
Εγγραφή: 08 Ιαν 2004 13:12
Τοποθεσία: Θεσσαλονίκη
Επικοινωνία:

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από Rosida » 01 Μαρ 2006 00:37

smiley, απορώ πως δεν υπάρχει στην λίστα η Septera bot... Μου έχει φάει όλο το trafic ενα μήνα. (να την πάρει)

ertert
Δημοσιεύσεις: 195
Εγγραφή: 21 Αύγ 2004 16:30

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από ertert » 01 Μαρ 2006 11:51

...ean den kano lathos ...tous kanones toy robots.txt ...ean theloun tous tiroun ta 'kaka robots'.

nomizo o kaliteros tropos einai meso .htaccess

fysika xefevgoume apo to 'aitima' toy fiskilis ...alla isos prepei na milisoyme gia ta 'kaka robots' kai offline browsers ...mias kai pedevoun pollous webmasters...

na rotiso kai kati allo exei anakalipsei kaneis kapoia selida pou na dinei report gia ta nea 'kaka robots' ?

Άβαταρ μέλους
cordis
Administrator, [F|H]ounder, [C|S]EO
Δημοσιεύσεις: 27621
Εγγραφή: 09 Οκτ 1999 03:00
Τοποθεσία: Greece
Επικοινωνία:

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από cordis » 01 Μαρ 2006 12:02

αδιάβαστο σε βρίσκω.. :P
http://www.freestuff.gr/forums/viewtopic.php?t=17675
Δεν απαντάω σε προσωπικά μηνύματα με ερωτήσεις που καλύπτονται από τις ενότητες του forum. Για ο,τι άλλο είμαι εδώ για εσάς.
- follow me @twitter

ertert
Δημοσιεύσεις: 195
Εγγραφή: 21 Αύγ 2004 16:30

Τι Πρεπει να περιλαμβανει ενα robots.txt ???

Δημοσίευση από ertert » 01 Μαρ 2006 12:12

...sorry ...den ekana search

Απάντηση

Επιστροφή στο “Μηχανές αναζήτησης & SEO”

Μέλη σε σύνδεση

Μέλη σε αυτήν τη Δ. Συζήτηση: Δεν υπάρχουν εγγεγραμμένα μέλη και 0 επισκέπτες