Ojo, el robots.txt si que sirve para posicionar una página web, Es cierto que solamente se define para indicarle a los buscadores que páginas deben indexar y cuales no, pero al utilizarlos, google interpreta que sabes lo que estás haciendo, ahorrándole la utilización de recursos, además también desde el archivo robots.txt puedes determinar la franja horaria en que deseas que el robot de google rastree tu web, evitando la sobrecarga del servidor y mejorando la experiencia del usuario y esto es lo que google tiene en cuenta
para posicionar una página web, la experiencia del usuario es lo principal. Google recomienda
la utilización del archivo robots.txt como parte de una correcta optimización para los motores de búsqueda.
