tools/auditar.py
Archivo real del paquete para implementar la función. Descárgalo del ZIP para editarlo; no contiene claves privadas.
#!/usr/bin/env python3
"""Auditoría de contenido, trazabilidad y calidad: no modifica los artículos."""
import csv, json, re, xml.etree.ElementTree as ET
from collections import Counter,defaultdict
from datetime import datetime,timezone
from pathlib import Path
from urllib.parse import urlsplit
HERE=Path(__file__).resolve().parent.parent
def write(p,d):
p.parent.mkdir(parents=True,exist_ok=True);tmp=p.with_suffix('.tmp')
tmp.write_text(json.dumps(d,ensure_ascii=False,indent=2)+'\n',encoding='utf8');tmp.replace(p)
def main(root):
data=root/'datos';index=json.loads((data/'busqueda/documentos.json').read_text(encoding='utf8'))['items']
manifest=json.loads((data/'busqueda/manifest.json').read_text(encoding='utf8'))
catalog=json.loads((data/'conocimiento.json').read_text(encoding='utf8'))['items']
apps=json.loads((data/'apps.json').read_text(encoding='utf8'))['items']
topics=json.loads((data/'busqueda/temas.json').read_text(encoding='utf8'))['items']
urls=[x.get('url','') for x in index]
duplicates=[u for u,n in Counter(urls).items() if n>1]
absent_title=[x['url'] for x in index if len(x.get('titulo','').strip())<5]
absent_desc=[x['url'] for x in index if not x.get('descripcion','').strip()]
without_html=[x['url'] for x in index if not x.get('texto_completo_indexado')]
links_invalid=[u for u in urls if not u.startswith('https://') or not urlsplit(u).hostname or (urlsplit(u).hostname!='appinitdev.com' and not urlsplit(u).hostname.endswith('.appinitdev.com'))]
catalog_urls={d.get('url') for d in catalog}|{a.get('url') for a in apps}
uncovered=[u for u in urls if u not in catalog_urls]
sources=Counter(x.get('procedencia_texto','solo_metadatos') for x in index)
topic_counts=Counter(t for d in index for t in d.get('temas',[]))
sitemap=root/'sitemap.xml';sitemap_urls=set()
if sitemap.is_file():
try:
for e in ET.parse(sitemap).getroot().iter():
if e.tag.endswith('loc') and e.text:sitemap_urls.add(e.text.strip())
except ET.ParseError:pass
# Se señalan candidatos, sin afirmar que sean enlaces rotos sin respuesta HTTP.
doc_urls={u.rstrip('/') for u in urls}
probable_not_in_sitemap=[u for u in urls if u not in sitemap_urls and u.rstrip('/') not in {v.rstrip('/') for v in sitemap_urls}]
report={'fecha_utc':datetime.now(timezone.utc).isoformat(timespec='seconds'),
'documentos':len(index),'aplicaciones':len(apps),'articulos':len(catalog),
'con_texto_html':sum(x.get('texto_completo_indexado',False) for x in index),
'sin_texto_html':len(without_html),'procedencia':dict(sources),
'titulos_cortos':len(absent_title),'sin_descripcion':len(absent_desc),
'urls_duplicadas':len(duplicates),'urls_invalidas':len(links_invalid),
'rutas_fuera_de_sitemap_candidatas':len(probable_not_in_sitemap),
'desconocidos_en_catalogo_principal':len(uncovered),
'clasificacion_tematica':dict(topic_counts),
'advertencia':'Un enlace ausente del sitemap no está necesariamente roto. No se hicieron solicitudes externas en esta auditoría.',
'metodo':'conteos de índices y fuentes locales; sin estimación de visibilidad en buscadores'}
write(data/'calidad/resumen.json',report)
write(data/'fuentes/resumen.json',{'version':'2.0','generado_el':report['fecha_utc'],'total':len(index),
'procedencia':dict(sources),'temas':topics,
'leyenda':{'html_local':'HTML del proyecto','html_publico_rastreado':'HTML público verificado y cacheado','solo_metadatos':'No se analizó HTML completo'}})
write(HERE/'reportes/auditoria_privada.json',{'resumen':report,
'urls_duplicadas':duplicates,'titulos_cortos':absent_title[:500],
'sin_descripcion':absent_desc[:1500], 'sin_html':without_html[:1500],
'fuera_sitemap_candidatas':probable_not_in_sitemap[:1500],
'urls_invalidas':links_invalid,'sin_catalogo':uncovered[:500]})
print('Auditoría V2:',report['documentos'],'documentos; HTML:',report['con_texto_html'],
'faltantes:',report['sin_texto_html'],'sin descripción:',report['sin_descripcion'])
return report
if __name__=='__main__':
import sys
root=Path(sys.argv[1]).resolve() if len(sys.argv)>1 else HERE.parent
main(root)