rafa
275aff1430
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
24 lines
828 B
Bash
24 lines
828 B
Bash
#!/bin/bash
|
|
# Fase 1 - Inventario de URLs generado por el propio router de Joomla (BD local joomla_mirror)
|
|
set -euo pipefail
|
|
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
|
INV=$BASE/inventory
|
|
mkdir -p "$INV"
|
|
H='Host: antiguo.feadulta.com'
|
|
U='http://127.0.0.1:8086/_genurls.php'
|
|
|
|
for s in menu catcontent content k2; do
|
|
echo "-> $s"
|
|
curl -s --max-time 900 -H "$H" "$U?set=$s" > "$INV/urls-$s.txt"
|
|
wc -l < "$INV/urls-$s.txt"
|
|
done
|
|
|
|
cat "$INV"/urls-menu.txt "$INV"/urls-catcontent.txt "$INV"/urls-content.txt "$INV"/urls-k2.txt \
|
|
| grep -E '^http://antiguo\.feadulta\.com/' \
|
|
| sort -u > "$INV/urls-input.txt"
|
|
|
|
echo "=== TOTAL unico ==="
|
|
wc -l < "$INV/urls-input.txt"
|
|
echo "=== reparto por prefijo ==="
|
|
sed 's#^http://antiguo.feadulta.com/es/##' "$INV/urls-input.txt" | cut -d/ -f1 | sort | uniq -c | sort -rn | head -30
|