Que es Robot.txt

buenas a todos

:arrow: He mirado mis estadisticas y en errores me aparece que se ha buscado robot.txt y yo no lo tengo me hace falta para que los buscadores lo lean?
:arrow: Tambien me salen mas errores de archivos que no encuentras los que se meten, pero son archivos que ya no estan pero cuando puse la web al principio si los puse en la web pero no los subi, pueden ser errores antiguos?

Muchas gracias

Hola

Respuesta a la pregunta de tu título: http://www.google.com/support/webmasters/bin/answer.py?hl=es&answer…

En cuanto a las otras dos:

:arrow: El robots.txt no es indispensable pero sí recomendable, siempre hay algo que interesa que google no indexe, como por ejemplo la página de contacto, acerca de,...
:arrow: Si te salen errores de esos y ha pasado ya bastante tiempo y siguen ahí, entonces comprueba que no hay ningún enlace por tu web que apunte a ellos porque seguramente google lo estea encontrando, intenta acceder al archivo y no lo encuentra; por eso te sale el error.

Saludos ;)

muchas gracias

Le puse que no vean la carpeta de imagenes, eso esta bien? o me dara errores a lo poder ver la imagen que hay en la web?

y ahora le pondre que no vean lo del contacto siguiendo tu consejo.

Me puede poner un ejemplo de un robot-txt que funcione bien

gracias

Lo de la carpet aimágenes no lo hagas. El robot de google las indexa y luego puedes recibir alguna visita desde google imágenes.

Lo mejor es que en las herramientas para webmasters de google uses el generador de robots.txt para configurar lo que no quieres que indexe, luego te descargas el fichero y lo metes en tu web.

Saludos ;)

Muchas gracias