# Robots.txt of Parolesmania.fr

# On interdit les /paroles à ces robots : Restent listes Artis et TitreArtis

# http://fr.dir.com/pompos-fr.html
User-agent: pompos
Disallow: /liste/
Disallow: /paroles/

# On interdit les /paroles et /chansons à ces robots : Restent listes Artis

# http://www.baidu.com/
User-agent: baiduspider
# http://www.gigablast.com/spider.html
User-agent: gigabot
# http://www.archive.org
User-agent: ia_archiver
# http://help.goo.ne.jp/door/crawler.html
User-agent: ichiro
# http://www.shopwiki.com/wiki/Help:Bot
User-agent: ShopWiki
# ??
User-agent: BabyBot
Disallow: /liste/
Disallow: /paroles/
Disallow: /chansons/

# On interdit tout le 'contenu' à ces robots !  (Utile ?)

User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: LookSmart
User-agent: SiteSucker/2.0
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: ZyBorg 
User-agent: Zyborg/1.0
Disallow: /liste/
Disallow: /paroles/
Disallow: /chansons/
Disallow: /artistes/

User-agent: Charlotte
Disallow: /paroles/

User-agent: *
Disallow: /contact
Disallow: /liste/
Disallow: /paroles/
Disallow: /paroles_
Disallow: /artistes/paroles_
Disallow: /sitemap.xml
Disallow: /sitemap-fr.gz
# Trop de textes, et donc trop de traffic dû aux robots.
# On autorisera peut-être le réferencement des textes plus tard.
#Disallow: /paroles/


# cf:
# http://www.annuaire-info.com/robots.html
# http://danzcontrib2.free.fr/robots_txt.php
# http://www.webrankinfo.com/robots.txt

# Robots.txt Validator / Checker
# http://tool.motoricerca.info/robots-checker.phtml

# Robot Control Code Generation Tool
# http://www.mcanerin.com/EN/search-engine/robots-txt.asp

# Sitemap

Sitemap: http://parolesmania.fr/sitemap.gz

# eof