# Ejemplo archivo robots.txt  
Sitemap: http://www.terra.com.pe/sitemap.xml
User-agent:*
Disallow: /php/buscador/*
Disallow: /php/captcha/*
Disallow: /php/captcha_altas/*
Disallow: /php/mail/*
Disallow: /php/mail_php/*
Disallow: /php/xml/*
Disallow: /common/*
Allow: /php/rss/deportes.php
Allow: /php/rss/noticias.php
Allow: /php/rss/portada.php
Allow: /php/rss/turismo.php
Allow: /php/rss/portada.xml
Allow: /php/rss/turismo.xml
Allow: /php/rss/deportes.xml
Allow: /php/rss/noticias.xml