rafa
275aff1430
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
41 lines
1.5 KiB
Bash
41 lines
1.5 KiB
Bash
#!/bin/bash
|
|
# Vigilante del crawl: ficheros, 500 del servidor, RAM. Aborta si el servidor se degrada.
|
|
set -uo pipefail
|
|
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
|
RUN=$(cat "$BASE/CURRENT_RUN")
|
|
DIR=$BASE/runs/$RUN
|
|
ST=$DIR/logs/monitor.log
|
|
MAX500=${MAX500:-100}
|
|
MINMEM_MB=${MINMEM_MB:-800}
|
|
T0=$(date +%s)
|
|
|
|
echo "monitor arrancado $(date -u +%FT%TZ) run=$RUN max500=$MAX500" > "$ST"
|
|
|
|
while true; do
|
|
sleep 60
|
|
pgrep -f 'wget --input-file=' >/dev/null || { echo "$(date -u +%FT%TZ) crawl terminado, monitor sale" >> "$ST"; break; }
|
|
|
|
files=$(find "$DIR/raw" -type f 2>/dev/null | wc -l)
|
|
size=$(du -sm "$DIR/raw" 2>/dev/null | cut -f1)
|
|
e500=$(docker logs --since "$T0" joomla-mirror-web 2>&1 | grep -c '" 500 ')
|
|
e408=$(docker logs --since "$T0" joomla-mirror-web 2>&1 | grep -c '" 40[38] ')
|
|
mem=$(free -m | awk '/^Mem:/{print $7}')
|
|
cmem=$(docker stats --no-stream --format '{{.MemUsage}}' joomla-mirror-web 2>/dev/null)
|
|
el=$(( $(date +%s) - T0 ))
|
|
pct=$(awk -v f="$files" 'BEGIN{printf "%.1f", f*100/25437}')
|
|
|
|
printf '%s t=%ss ficheros=%s (%s%%) %sMB 500=%s 40x=%s ram_libre=%sMB cont=%s\n' \
|
|
"$(date -u +%FT%TZ)" "$el" "$files" "$pct" "$size" "$e500" "$e408" "$mem" "$cmem" >> "$ST"
|
|
|
|
if [ "$e500" -gt "$MAX500" ]; then
|
|
echo "!!! ABORTO: $e500 respuestas 500 (umbral $MAX500)" >> "$ST"
|
|
pkill -f 'wget --input-file='
|
|
break
|
|
fi
|
|
if [ "$mem" -lt "$MINMEM_MB" ]; then
|
|
echo "!!! ABORTO: RAM libre ${mem}MB por debajo de ${MINMEM_MB}MB" >> "$ST"
|
|
pkill -f 'wget --input-file='
|
|
break
|
|
fi
|
|
done
|