Alter robots.txt disallow indexing

Este módulo cambia el archivo /robots.txt que leen los motores de búsqueda cuando visitan tu sitio web. Normalmente, el sitio web de Odoo permite a los rastreadores indexar tus páginas; tras instalar este módulo, el archivo les indica que no lo hagan.

• Añade un ajuste de configuración llamado website.crawler.disable, que se activa por defecto cuando se instala el módulo.
• Cuando este ajuste está activado, el archivo /robots.txt contiene "Disallow: /", lo que pide a los motores de búsqueda que se mantengan alejados de todo el sitio.
• Cuando el ajuste está desactivado, el archivo deja de bloquear el rastreo, por lo que los motores de búsqueda pueden volver a indexar el sitio.
• El archivo sigue indicando a los rastreadores tu sitemap (sitemap.xml) para que puedan encontrar tus páginas cuando la indexación está permitida.

El módulo funciona sustituyendo la plantilla que Odoo utiliza para generar /robots.txt y tomando el control de la ruta web que sirve ese archivo. Depende de la aplicación Website y no añade menús ni pantallas propias; el comportamiento se controla mediante el parámetro de configuración existente. No se ven afectadas otras áreas, modelos ni documentos de negocio de Odoo.