rafa
275aff1430
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
27 lines
1.2 KiB
Bash
27 lines
1.2 KiB
Bash
#!/bin/bash
|
|
# Pase D: /anterior — la web estatica anterior a Joomla, enlazada desde el menu principal.
|
|
# Es HTML plano servido por Apache (solo 1 .php en 34.037 ficheros): la recursion aqui es finita
|
|
# y no pasa por PHP, asi que no reproduce la trampa de paginacion de K2.
|
|
set -uo pipefail
|
|
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
|
RUN=$(cat "$BASE/CURRENT_RUN")
|
|
DIR=$BASE/runs/$RUN
|
|
|
|
date -u +%FT%TZ > "$DIR/logs/passD.start"
|
|
wget \
|
|
--recursive --level=inf --no-parent \
|
|
--force-directories --directory-prefix="$DIR/raw" \
|
|
--adjust-extension --no-verbose --no-clobber -e robots=off \
|
|
--domains=antiguo.feadulta.com --span-hosts=off \
|
|
--user-agent='feadulta-archiver/1.0 (+incident-183; mirror local)' \
|
|
--wait=0.05 --tries=2 --timeout=45 --waitretry=3 \
|
|
--reject-regex='(\?|&)(C|O|start|limitstart|limit|print|tmpl|format|searchword|task|orderby|filter)=' \
|
|
--output-file="$DIR/logs/wget-anterior.log" \
|
|
http://antiguo.feadulta.com/anterior/
|
|
date -u +%FT%TZ > "$DIR/logs/passD.end"
|
|
|
|
echo "PASE D TERMINADO"
|
|
find "$DIR/raw/antiguo.feadulta.com/anterior" -type f 2>/dev/null | wc -l
|
|
du -sh "$DIR/raw/antiguo.feadulta.com/anterior" 2>/dev/null
|
|
grep -hoE 'ERROR [0-9]+' "$DIR/logs/wget-anterior.log" | sort | uniq -c
|