Mirror del Joomla antiguo: versionar los scripts y reponer los assets que faltaban

Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que
generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore.

Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se
referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de
fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner.

Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio
que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido
antes de copiar a site/.

Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en
produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya
estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado.

Refs #180

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
2026-07-31 14:04:31 -04:00
parent 69e849d38e
commit 275aff1430
71 changed files with 2667 additions and 0 deletions
@@ -0,0 +1,110 @@
#!/usr/bin/env python3
"""§3.5 del plan: deriva `site/` a partir de `raw/` (que queda intacto).
- Reescribe los enlaces absolutos a `antiguo.feadulta.com` como raiz-relativos, para que el mirror
funcione bajo cualquier hostname (p.ej. legacy.rafacalvo.nyc).
- Deja intactos los enlaces externos (incluido www.feadulta.com, que ahora es WordPress).
- Neutraliza los formularios que apuntan a endpoints PHP vivos: quedan inertes y con aviso.
- Descarta las vistas de impresion (`?tmpl=component&print=1`), que duplican paginas ya capturadas.
- Deja una copia sin la query en el nombre para los ficheros que wget guardo como `app.js?hash`
o `titulo?.html` (alias con '?' literal): un servidor estatico busca el nombre sin query.
Uso: 45-normalize-links.py [--no-copy] (--no-copy reaprovecha el site/ existente)
"""
import os, re, json, shutil, sys
from collections import Counter
BASE = "/home/rafa/joomla-migration/mirror-antiguo"
RUN = open(os.path.join(BASE, "CURRENT_RUN")).read().strip()
DIR = os.path.join(BASE, "runs", RUN)
RAW, SITE = os.path.join(DIR, "raw"), os.path.join(DIR, "site")
HOSTABS = re.compile(rb'(?:https?:)?//antiguo\.feadulta\.com', re.I)
FORM = re.compile(rb'<form\b[^>]*>', re.I)
ACTION = re.compile(rb'action\s*=\s*["\']([^"\']*)["\']', re.I)
AVISO = (b'<div style="background:#ffe9e9;border:1px solid #c00;padding:8px;margin:8px 0;'
b'font:13px sans-serif">Archivo hist\xc3\xb3rico: este formulario no est\xc3\xa1 '
b'operativo.</div>')
TEXTEXT = (".html", ".htm", ".css", ".js")
def basename_sin_query(fn):
"""`app.js?hash` -> `app.js`; `titulo?.html` -> `titulo`. Sin '?' devuelve el propio nombre."""
return fn.split("?", 1)[0]
def paso1_nombres_con_query(stats):
"""Se ejecuta ANTES de reescribir: descarta impresiones y crea las copias de nombre limpio."""
for root, _d, files in os.walk(SITE):
for fn in list(files):
if "?" not in fn:
continue
src = os.path.join(root, fn)
if "print=1" in fn:
os.remove(src)
stats["vistas_impresion_descartadas"] += 1
continue
base = basename_sin_query(fn)
if not base:
continue
dst = os.path.join(root, base)
if not os.path.exists(dst):
shutil.copy2(src, dst)
stats["copias_con_nombre_limpio"] += 1
def paso2_reescribe(stats):
for root, _d, files in os.walk(SITE):
for fn in files:
# la extension se mira sobre el nombre SIN query: `x.html?foo` sigue siendo HTML
base = basename_sin_query(fn).lower()
if not base.endswith(TEXTEXT):
continue
p = os.path.join(root, fn)
try:
data = open(p, "rb").read()
except OSError:
continue
orig = data
data, n = HOSTABS.subn(b"", data)
stats["enlaces_absolutos_reescritos"] += n
if base.endswith((".html", ".htm")):
def fix_form(m):
tag = m.group(0)
a = ACTION.search(tag)
if a and b".php" in a.group(1):
stats["formularios_neutralizados"] += 1
return ACTION.sub(b'action="#" onsubmit="return false"', tag) + AVISO
return tag
data = FORM.sub(fix_form, data)
if data != orig:
open(p, "wb").write(data)
stats["ficheros_modificados"] += 1
def main():
if "--no-copy" not in sys.argv:
if os.path.exists(SITE):
print("site/ ya existe, lo borro"); shutil.rmtree(SITE)
print("copiando raw/ -> site/ ...")
shutil.copytree(RAW, SITE)
else:
print("reaprovechando site/ existente")
stats = Counter()
paso1_nombres_con_query(stats)
paso2_reescribe(stats)
out = os.path.join(DIR, "link-rewrite.json")
json.dump(dict(stats), open(out, "w"), indent=2, ensure_ascii=False)
print(json.dumps(dict(stats), indent=2, ensure_ascii=False))
print("informe:", out)
if __name__ == "__main__":
main()