¿Qué hace el Rastreador web?
El Rastreador web visita las páginas de tu sitio web, extrae el contenido de texto y lo almacena en la base de conocimientos de tu bot — todo en minutos, sin ninguna carga manual.
Cómo funciona
- Introduce la URL de inicio y los patrones opcionales de inclusión/exclusión de URL.
- Establece la profundidad de rastreo.
- Inicia el rastreo — los elementos de navegación y pie de página se eliminan y el contenido principal se conserva.
- El texto se divide automáticamente en fragmentos e se indexa en la base de datos vectorial.
- Programa rastreos automáticos periódicos (semanales, mensuales) para mantener actualizada la base de conocimientos.
Limitaciones y uso ético
Se respeta el archivo robots.txt; las páginas con noindex/disallow se omiten. No se extraen imágenes, vídeos ni contenido renderizado por JavaScript. El rastreador solo puede utilizarse en sitios web de tu propiedad o para los que estés autorizado a rastrear.