A · AppInitDev
MCP / Tutoriales / 06 · Recuperar contenido público con el rastreador
PROCEDIMIENTO 06 DE 18

06 · Recuperar contenido público con el rastreador

Configurar un rastreo respetuoso sin saturar Hostinger ni recuperar contenido privado.

Instrucciones paso a paso

  1. Genera primero conocimiento.json desde tu proyecto.
  2. Edita el archivo CONFIG.json, sección rastreador, si necesitas cambiar el máximo por ejecución (por defecto, 80).
  3. Ejecuta el rastreador solo cuando quieras recuperar texto de páginas públicas cuya copia local falte.
  4. El script verifica robots.txt antes de descargar, limita redirecciones al dominio oficial y respeta un tiempo mínimo entre solicitudes.
  5. Revisa el informe privado reportes/rastreo.json y vuelve a generar el índice para incorporar el contenido descargado.
python AppInitDev_IA_MCP/tools/rastreador.py
python AppInitDev_IA_MCP/INSTALAR_IA.py

La caché HTML permanece en AppInitDev_IA_MCP/cache_v2/, fuera de las carpetas públicas. No subas esa carpeta a Hostinger.

Cómo confirmar que funciona

Revisa el resultado del procedimiento antes de avanzar. Si un comando falla, corrige el error y no publiques hasta validar la etapa correspondiente.

Implementación detallada · Rastreo público responsable

¿Cuándo ejecutar el rastreador?

Solo cuando tus páginas públicas existen en Internet pero no tienes su HTML dentro del proyecto local. El rastreador está desactivado de forma predeterminada, comprueba robots.txt, admite exclusivamente el dominio HTTPS permitido y guarda un caché privado.

python AppInitDev_IA_MCP/tools/rastreador.py
python AppInitDev_IA_MCP/INSTALAR_IA.py
python AppInitDev_IA_MCP/VALIDAR_PROYECTO.py

Configuración exacta

En AppInitDev_IA_MCP/CONFIG.json puedes ajustar los límites, por ejemplo:

"rastreador": {
  "habilitado_solo_bajo_demanda": true,
  "maximo_paginas_por_ejecucion": 80,
  "retraso_segundos": 0.8,
  "timeout_segundos": 9,
  "maximo_html_bytes": 700000,
  "maximo_dias_cache": 30
}

No subas cache_v2/ ni reportes/ a Hostinger. Si hay un 429/503 o no se puede leer robots.txt, detén el proceso y corrige el bloqueo antes de reintentar. No desactives las protecciones para forzar el rastreo.

Ver el código implementado, archivo por archivo

Estos enlaces muestran el código fuente completo de los componentes utilizados en el procedimiento; no son pseudocódigo.

tools/rastreador.pyVer y copiar el archivo completo usado en esta etapa
CONFIG.jsonVer y copiar el archivo completo usado en esta etapa

Lista de comprobación de esta etapa

Siguiente: diagnóstico de publicación · publicación en el MCP Registry.