Mirror del Joomla antiguo: versionar los scripts y reponer los assets que faltaban
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,40 @@
|
||||
#!/bin/bash
|
||||
# Vigilante del crawl: ficheros, 500 del servidor, RAM. Aborta si el servidor se degrada.
|
||||
set -uo pipefail
|
||||
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
||||
RUN=$(cat "$BASE/CURRENT_RUN")
|
||||
DIR=$BASE/runs/$RUN
|
||||
ST=$DIR/logs/monitor.log
|
||||
MAX500=${MAX500:-100}
|
||||
MINMEM_MB=${MINMEM_MB:-800}
|
||||
T0=$(date +%s)
|
||||
|
||||
echo "monitor arrancado $(date -u +%FT%TZ) run=$RUN max500=$MAX500" > "$ST"
|
||||
|
||||
while true; do
|
||||
sleep 60
|
||||
pgrep -f 'wget --input-file=' >/dev/null || { echo "$(date -u +%FT%TZ) crawl terminado, monitor sale" >> "$ST"; break; }
|
||||
|
||||
files=$(find "$DIR/raw" -type f 2>/dev/null | wc -l)
|
||||
size=$(du -sm "$DIR/raw" 2>/dev/null | cut -f1)
|
||||
e500=$(docker logs --since "$T0" joomla-mirror-web 2>&1 | grep -c '" 500 ')
|
||||
e408=$(docker logs --since "$T0" joomla-mirror-web 2>&1 | grep -c '" 40[38] ')
|
||||
mem=$(free -m | awk '/^Mem:/{print $7}')
|
||||
cmem=$(docker stats --no-stream --format '{{.MemUsage}}' joomla-mirror-web 2>/dev/null)
|
||||
el=$(( $(date +%s) - T0 ))
|
||||
pct=$(awk -v f="$files" 'BEGIN{printf "%.1f", f*100/25437}')
|
||||
|
||||
printf '%s t=%ss ficheros=%s (%s%%) %sMB 500=%s 40x=%s ram_libre=%sMB cont=%s\n' \
|
||||
"$(date -u +%FT%TZ)" "$el" "$files" "$pct" "$size" "$e500" "$e408" "$mem" "$cmem" >> "$ST"
|
||||
|
||||
if [ "$e500" -gt "$MAX500" ]; then
|
||||
echo "!!! ABORTO: $e500 respuestas 500 (umbral $MAX500)" >> "$ST"
|
||||
pkill -f 'wget --input-file='
|
||||
break
|
||||
fi
|
||||
if [ "$mem" -lt "$MINMEM_MB" ]; then
|
||||
echo "!!! ABORTO: RAM libre ${mem}MB por debajo de ${MINMEM_MB}MB" >> "$ST"
|
||||
pkill -f 'wget --input-file='
|
||||
break
|
||||
fi
|
||||
done
|
||||
Reference in New Issue
Block a user