Mirror del Joomla antiguo: versionar los scripts y reponer los assets que faltaban
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,70 @@
|
||||
#!/bin/bash
|
||||
# Repone los assets que el crawl no capturo (404 en produccion, 200 en el origen).
|
||||
#
|
||||
# Entrada: lista de rutas absolutas (una por linea) sacada de los logs de nginx
|
||||
# del Hetzner. Origen: el Joomla local restaurado y aislado (127.0.0.1:8086),
|
||||
# por HTTP -- nunca copiando el filesystem, mismo principio que el crawl.
|
||||
#
|
||||
# Escribe en raw/ y en site/: raw/ es el archivo tal cual se capturo, site/ es
|
||||
# el arbol servible que sincroniza 80-sync-hetzner.sh.
|
||||
set -uo pipefail
|
||||
|
||||
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
||||
RUN=$(cat "$BASE/CURRENT_RUN")
|
||||
DIR=$BASE/runs/$RUN
|
||||
RAW=$DIR/raw/antiguo.feadulta.com
|
||||
SITE=$DIR/site/antiguo.feadulta.com
|
||||
ORIGEN=http://127.0.0.1:8086
|
||||
IN=${1:-/tmp/assets404.txt}
|
||||
OUT=$DIR/logs/repone-assets-$(date -u +%Y%m%dT%H%M%SZ)
|
||||
|
||||
[ -s "$IN" ] || { echo "no hay lista de entrada: $IN"; exit 1; }
|
||||
[ -d "$SITE" ] || { echo "no existe $SITE"; exit 1; }
|
||||
mkdir -p "$OUT"
|
||||
|
||||
ok=0; fail=0; skip=0; ya=0
|
||||
while IFS= read -r p; do
|
||||
[ -n "$p" ] || continue
|
||||
case "$p" in
|
||||
/%22*|*'"'*) echo "$p" >> "$OUT/descartados.txt"; skip=$((skip+1)); continue ;;
|
||||
esac
|
||||
dest="$RAW$p"
|
||||
if [ -f "$dest" ]; then echo "$p" >> "$OUT/ya-estaban.txt"; ya=$((ya+1)); continue; fi
|
||||
mkdir -p "$(dirname "$dest")" 2>/dev/null || { echo "$p" >> "$OUT/fallidos.txt"; fail=$((fail+1)); continue; }
|
||||
code=$(curl -s --path-as-is -m 30 -o "$dest.part" -w '%{http_code}' "$ORIGEN$p")
|
||||
if [ "$code" = "200" ] && [ -s "$dest.part" ]; then
|
||||
mv "$dest.part" "$dest"
|
||||
echo "$p" >> "$OUT/repuestos.txt"; ok=$((ok+1))
|
||||
else
|
||||
rm -f "$dest.part"
|
||||
echo "$code $p" >> "$OUT/fallidos.txt"; fail=$((fail+1))
|
||||
fi
|
||||
done < "$IN"
|
||||
|
||||
echo "repuestos: $ok · fallidos: $fail · descartados: $skip · ya estaban: $ya"
|
||||
|
||||
# --- escaneo de seguridad antes de copiar a site/ ---
|
||||
echo "== escaneo de PHP embebido en lo descargado =="
|
||||
sospechosos=0
|
||||
if [ -s "$OUT/repuestos.txt" ]; then
|
||||
while IFS= read -r p; do
|
||||
if head -c 4096 "$RAW$p" 2>/dev/null | grep -qa '<?php'; then
|
||||
echo " SOSPECHOSO $p"; echo "$p" >> "$OUT/sospechosos.txt"; sospechosos=$((sospechosos+1))
|
||||
fi
|
||||
done < "$OUT/repuestos.txt"
|
||||
fi
|
||||
echo " sospechosos: $sospechosos"
|
||||
if [ "$sospechosos" -gt 0 ]; then
|
||||
echo "ABORTADO: hay ficheros con PHP embebido. No se copian a site/."
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# --- copia a site/ ---
|
||||
if [ -s "$OUT/repuestos.txt" ]; then
|
||||
while IFS= read -r p; do
|
||||
mkdir -p "$(dirname "$SITE$p")"
|
||||
cp -p "$RAW$p" "$SITE$p"
|
||||
done < "$OUT/repuestos.txt"
|
||||
fi
|
||||
echo "copiados a site/: $ok"
|
||||
echo "detalle en: $OUT"
|
||||
Reference in New Issue
Block a user