rafa
275aff1430
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
29 lines
1.3 KiB
Bash
29 lines
1.3 KiB
Bash
#!/bin/bash
|
|
# Lote de prueba de 200 URLs para validar la invocacion de wget y el arbol resultante
|
|
set -uo pipefail
|
|
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
|
SM=$BASE/smoke
|
|
rm -rf "$SM"; mkdir -p "$SM/raw"
|
|
shuf -n 200 "$BASE/inventory/urls-input.txt" > "$SM/urls.txt"
|
|
# aseguramos la portada y una carta
|
|
echo 'http://antiguo.feadulta.com/es/' >> "$SM/urls.txt"
|
|
|
|
t0=$(date +%s)
|
|
wget --input-file="$SM/urls.txt" \
|
|
--force-directories --directory-prefix="$SM/raw" \
|
|
--adjust-extension --no-verbose -e robots=off \
|
|
--user-agent='feadulta-archiver/1.0 (+incident-183; mirror local)' \
|
|
--wait=0.15 --tries=3 --timeout=45 --waitretry=5 \
|
|
--reject-regex='(\?|&)(start|limitstart|limit|print|tmpl|format|searchword|task|orderby|filter|catid|month|year)=' \
|
|
--output-file="$SM/wget.log"
|
|
t1=$(date +%s)
|
|
|
|
echo "=== tiempo: $((t1-t0))s para $(wc -l < "$SM/urls.txt") URLs ==="
|
|
echo "=== ficheros ==="; find "$SM/raw" -type f | wc -l
|
|
echo "=== arbol (muestra) ==="; find "$SM/raw" -type f | head -8
|
|
echo "=== errores en el log ==="; grep -icE 'error|failed' "$SM/wget.log" || true
|
|
grep -iE 'error|failed' "$SM/wget.log" | head -10
|
|
echo "=== tamano ==="; du -sh "$SM/raw"
|
|
echo "=== 500 en apache durante el lote ==="
|
|
docker logs --since "${t0}" joomla-mirror-web 2>&1 | grep -c '" 500 ' || true
|