Nuevas características de indexación anunciadas por Google
En su blog para desarrolladores, Google anuncia nuevas características implementadas en sus algoritmos de análisis:
- Se reconoce el uso de de URLs relativas en el archivo robots.txt
- Se recomienda también la nueva META tag unavailable_after, que permite indicar al robot del buscador la fecha en que debe expirar una página.
- Se implementa el soporte de la META tag REP (Robots Exclusion Protocol) en contenidos que no son documentos HTML (PDFs, Documentos de proceso de texto, videos).
Enlace a la entrada completa: New robots.txt feature and REP Meta Tags
