Nuevo TAG para archivo robots.txt

Hola, no tiene mucho que microsoft lanzo su nuevo buscador el BING.com y con esto una nueva manera de ser vistos en la red,

pues como todo buen webmaster me decidi a que me agregara en su directorio pero al llevar a cabo todos los pasos hay una opcion de validar tu archivos robots.txt y me lleve la sorpresa de que me daba un error "no encuentra la tag sitemap"

hasta ese momento yo no sabia que un Tag sitemap era necesario en robots.txt investigue la menare de poner esa tag y aqui se las dejo para que los que no la tienen en su archivo de robots la pongan

Sitemap: http://tupagina/sitemap.xml

de esta manera bing podra enlazar tu site mas facil
primero debes crear tu sitemap, de momento no tengo a la mano como describirte eso, pero solo pon en google creacion de sitemap y encontraras todo lo necesario

una vez creado lo subes a tu web y ya solo añadez la direccion en robots.txt
hola,

ya tengo mi sitemap, pero lo que es nuevo para mí, es ese archivo robots.txt que no tengo idea de cómo se debe llenar o cómo poner el contenido, tú ya lo has hecho???? Ahhh, y dónde se pone el:

http://tupagina/sitemap.xml

Y ahora que lo pienso, mi archivo se llama mapa.html Eso influye???

saludos :wink:
ATRÉVETE A VIVIR SIN VIOLENCIA
No es nada del otro mundo, abre el block de notas pones los siguiente:

Primero que son los robots: son "programas" que tienen los buscadores, dagamos sus sirvientes, sus mandaderos, su conpinches...etc, el buscador manda al robot a tu web, entoces llega y busca un archivos llamado robots.txt que le indica que parte de tu pagina quieres que la indexe (la ponga en su directorio).

en este archivo especificas que carpetas puede agregar asu indixe y cuales no:
contenido del archivo robots.txt

User-agent: * (esta linea le dice que cualquier robot puede entrar)

Disallow: /objetos/ (aqui le dices que carpeta no quieres que indexe)
Disallow: /notas/ (otra carpeta que no, estas son mis carpetas ya tu verias cuales no quieres que indexe)

Sitemap: http://www.cclahermosa.org/sitemap.xml (y esta linea es donde pones la ruta de tu sitemap, si debe llamarse sitemap.xml)


Espero haber resuelto un poco tus dudas, eso lo haces en el block de notas, cuando terminas le das guardar como, le pones "robots"
Hola hermano, jaajjaja, estamos en todas partes!!!

O sea que debe de haber 3 archivos para este tema:

1. el archivo llamado robots.txt
2. el archivo llamado http://miweb.com/sitemap.xml y
3. el archivo llamado http://miweb.com/sitemap.html (el mio es ...mapa.html)

- El sitemap.xml ya lo tenía, solo que no sabía que hacer con él. La verdad, estás aclarando bastante mis duda. Leeré el post de kimapa que habla sobre el robots.txt porque aún no sé cómo hacerlo es decir, qué debo poner en el encabezado y cómo empezar a llenarlo.

- Una pregunta: el archivo 1 y 2 deben estar en nuestra web sin ningún enlace hacia ellos???? como si estuviesen ocultos para el navegante??? Es asÍ???????

Gracias por tus respuestas, la verdad me estás ayudando. saludos, :D :D
ATRÉVETE A VIVIR SIN VIOLENCIA
Una pregunta: el archivo 1 y 2 deben estar en nuestra web sin ningún enlace hacia ellos???? como si estuviesen ocultos para el navegante??? Es asÍ???????


no es necesario que tengan un enlace a ellos
pues los unicos a los que les sera de utilidad es a los robots de los buscadores, ellos saben que tienen que estar ahi asi que solamente lo revisan
el sitemap para yahoo y google varia en formato no recuerdo cual es el que usa xml y el otro solo txt
Gracias por sus valiosas respuestas, compañeros, si sé de algo más, paso por aquí y les cuento, saludos, :wink: :wink: :wink: