06 · Recuperar contenido público con el rastreador
Configurar un rastreo respetuoso sin saturar Hostinger ni recuperar contenido privado.
Instrucciones paso a paso
- Genera primero
conocimiento.jsondesde tu proyecto. - Edita el archivo
CONFIG.json, secciónrastreador, si necesitas cambiar el máximo por ejecución (por defecto, 80). - Ejecuta el rastreador solo cuando quieras recuperar texto de páginas públicas cuya copia local falte.
- El script verifica
robots.txtantes de descargar, limita redirecciones al dominio oficial y respeta un tiempo mínimo entre solicitudes. - Revisa el informe privado
reportes/rastreo.jsony vuelve a generar el índice para incorporar el contenido descargado.
python AppInitDev_IA_MCP/tools/rastreador.py
python AppInitDev_IA_MCP/INSTALAR_IA.pyLa caché HTML permanece en AppInitDev_IA_MCP/cache_v2/, fuera de las carpetas públicas. No subas esa carpeta a Hostinger.
Cómo confirmar que funciona
Revisa el resultado del procedimiento antes de avanzar. Si un comando falla, corrige el error y no publiques hasta validar la etapa correspondiente.
Implementación detallada · Rastreo público responsable
¿Cuándo ejecutar el rastreador?
Solo cuando tus páginas públicas existen en Internet pero no tienes su HTML dentro del proyecto local. El rastreador está desactivado de forma predeterminada, comprueba robots.txt, admite exclusivamente el dominio HTTPS permitido y guarda un caché privado.
python AppInitDev_IA_MCP/tools/rastreador.py
python AppInitDev_IA_MCP/INSTALAR_IA.py
python AppInitDev_IA_MCP/VALIDAR_PROYECTO.py
Configuración exacta
En AppInitDev_IA_MCP/CONFIG.json puedes ajustar los límites, por ejemplo:
"rastreador": {
"habilitado_solo_bajo_demanda": true,
"maximo_paginas_por_ejecucion": 80,
"retraso_segundos": 0.8,
"timeout_segundos": 9,
"maximo_html_bytes": 700000,
"maximo_dias_cache": 30
}
No subas cache_v2/ ni reportes/ a Hostinger. Si hay un 429/503 o no se puede leer robots.txt, detén el proceso y corrige el bloqueo antes de reintentar. No desactives las protecciones para forzar el rastreo.
Ver el código implementado, archivo por archivo
Estos enlaces muestran el código fuente completo de los componentes utilizados en el procedimiento; no son pseudocódigo.
Lista de comprobación de esta etapa
Siguiente: diagnóstico de publicación · publicación en el MCP Registry.