El fichero robots.txt es el elemento fundamental para la sitio que desea aparecer bien indexada por los motores de búsqueda como Bing. Funciona como un instructivo para los crawlers , indicándoles qué páginas de tu web pueden deben indexadas y cuáles se deben excluir . Una correcta configuración