AppInitDev
CÓDIGO FUENTE PÚBLICO

tools/auditar.py

Archivo real del paquete para implementar la función. Descárgalo del ZIP para editarlo; no contiene claves privadas.

#!/usr/bin/env python3
"""Auditoría de contenido, trazabilidad y calidad: no modifica los artículos."""
import csv, json, re, xml.etree.ElementTree as ET
from collections import Counter,defaultdict
from datetime import datetime,timezone
from pathlib import Path
from urllib.parse import urlsplit
HERE=Path(__file__).resolve().parent.parent

def write(p,d):
    p.parent.mkdir(parents=True,exist_ok=True);tmp=p.with_suffix('.tmp')
    tmp.write_text(json.dumps(d,ensure_ascii=False,indent=2)+'\n',encoding='utf8');tmp.replace(p)

def main(root):
    data=root/'datos';index=json.loads((data/'busqueda/documentos.json').read_text(encoding='utf8'))['items']
    manifest=json.loads((data/'busqueda/manifest.json').read_text(encoding='utf8'))
    catalog=json.loads((data/'conocimiento.json').read_text(encoding='utf8'))['items']
    apps=json.loads((data/'apps.json').read_text(encoding='utf8'))['items']
    topics=json.loads((data/'busqueda/temas.json').read_text(encoding='utf8'))['items']
    urls=[x.get('url','') for x in index]
    duplicates=[u for u,n in Counter(urls).items() if n>1]
    absent_title=[x['url'] for x in index if len(x.get('titulo','').strip())<5]
    absent_desc=[x['url'] for x in index if not x.get('descripcion','').strip()]
    without_html=[x['url'] for x in index if not x.get('texto_completo_indexado')]
    links_invalid=[u for u in urls if not u.startswith('https://') or not urlsplit(u).hostname or (urlsplit(u).hostname!='appinitdev.com' and not urlsplit(u).hostname.endswith('.appinitdev.com'))]
    catalog_urls={d.get('url') for d in catalog}|{a.get('url') for a in apps}
    uncovered=[u for u in urls if u not in catalog_urls]
    sources=Counter(x.get('procedencia_texto','solo_metadatos') for x in index)
    topic_counts=Counter(t for d in index for t in d.get('temas',[]))
    sitemap=root/'sitemap.xml';sitemap_urls=set()
    if sitemap.is_file():
        try:
            for e in ET.parse(sitemap).getroot().iter():
                if e.tag.endswith('loc') and e.text:sitemap_urls.add(e.text.strip())
        except ET.ParseError:pass
    # Se señalan candidatos, sin afirmar que sean enlaces rotos sin respuesta HTTP.
    doc_urls={u.rstrip('/') for u in urls}
    probable_not_in_sitemap=[u for u in urls if u not in sitemap_urls and u.rstrip('/') not in {v.rstrip('/') for v in sitemap_urls}]
    report={'fecha_utc':datetime.now(timezone.utc).isoformat(timespec='seconds'),
      'documentos':len(index),'aplicaciones':len(apps),'articulos':len(catalog),
      'con_texto_html':sum(x.get('texto_completo_indexado',False) for x in index),
      'sin_texto_html':len(without_html),'procedencia':dict(sources),
      'titulos_cortos':len(absent_title),'sin_descripcion':len(absent_desc),
      'urls_duplicadas':len(duplicates),'urls_invalidas':len(links_invalid),
      'rutas_fuera_de_sitemap_candidatas':len(probable_not_in_sitemap),
      'desconocidos_en_catalogo_principal':len(uncovered),
      'clasificacion_tematica':dict(topic_counts),
      'advertencia':'Un enlace ausente del sitemap no está necesariamente roto. No se hicieron solicitudes externas en esta auditoría.',
      'metodo':'conteos de índices y fuentes locales; sin estimación de visibilidad en buscadores'}
    write(data/'calidad/resumen.json',report)
    write(data/'fuentes/resumen.json',{'version':'2.0','generado_el':report['fecha_utc'],'total':len(index),
      'procedencia':dict(sources),'temas':topics,
      'leyenda':{'html_local':'HTML del proyecto','html_publico_rastreado':'HTML público verificado y cacheado','solo_metadatos':'No se analizó HTML completo'}})
    write(HERE/'reportes/auditoria_privada.json',{'resumen':report,
         'urls_duplicadas':duplicates,'titulos_cortos':absent_title[:500],
         'sin_descripcion':absent_desc[:1500], 'sin_html':without_html[:1500],
         'fuera_sitemap_candidatas':probable_not_in_sitemap[:1500],
         'urls_invalidas':links_invalid,'sin_catalogo':uncovered[:500]})
    print('Auditoría V2:',report['documentos'],'documentos; HTML:',report['con_texto_html'],
          'faltantes:',report['sin_texto_html'],'sin descripción:',report['sin_descripcion'])
    return report

if __name__=='__main__':
    import sys
    root=Path(sys.argv[1]).resolve() if len(sys.argv)>1 else HERE.parent
    main(root)