El documento robots.txt es un recurso fundamental para controlar cómo los rastreadores web rastrean tu portal. Facilita a los bots instrucciones sobre qué partes de tu web pueden ser rastreadas y cuáles deben omitidas. Una configuración adecuada del robots.txt puede mejorar tu posicionamiento en