Mirror del Joomla antiguo: versionar los scripts y reponer los assets que faltaban
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,40 @@
|
||||
#!/bin/bash
|
||||
# Fase 3: manifiestos sha256 + escaneo de seguridad del propio mirror (§4.3 del plan)
|
||||
set -uo pipefail
|
||||
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
||||
RUN=$(cat "$BASE/CURRENT_RUN")
|
||||
DIR=$BASE/runs/$RUN
|
||||
cd "$DIR"
|
||||
|
||||
echo "=== manifiesto raw ==="
|
||||
( cd raw && find . -type f -print0 | sort -z | xargs -0 sha256sum ) > MANIFEST-raw.sha256
|
||||
wc -l < MANIFEST-raw.sha256
|
||||
du -sh raw
|
||||
|
||||
echo
|
||||
echo "=== 1. ficheros con PHP ejecutable ==="
|
||||
grep -rl '<?php' raw > scan-php.txt 2>/dev/null
|
||||
wc -l < scan-php.txt
|
||||
|
||||
echo "=== 2. patrones tipicos de inyeccion ==="
|
||||
grep -rlE 'eval\(|atob\(|document\.write\(unescape|fromCharCode' raw > scan-suspicious.txt 2>/dev/null
|
||||
wc -l < scan-suspicious.txt
|
||||
|
||||
echo "=== 3. paginas de challenge/error congeladas ==="
|
||||
grep -rli 'Attention Required\|Just a moment\|Not Acceptable\|mod_security\|Internal Server Error' raw > scan-garbage.txt 2>/dev/null
|
||||
wc -l < scan-garbage.txt
|
||||
|
||||
echo "=== 4. hosts externos en script/iframe ==="
|
||||
grep -rhoE '<(script|iframe)[^>]+src="https?://[^"/]+' raw \
|
||||
| grep -oE 'https?://[^"/]+' | sort | uniq -c | sort -rn > scan-external-script-hosts.txt
|
||||
head -25 scan-external-script-hosts.txt
|
||||
|
||||
echo
|
||||
echo "=== 5. cobertura frente al inventario ==="
|
||||
find raw/antiguo.feadulta.com -type f -name '*.html' \
|
||||
| sed 's#^raw/antiguo.feadulta.com#http://antiguo.feadulta.com#' | sort -u > captured-pages.txt
|
||||
comm -23 <(sort -u "$BASE/inventory/urls-input.txt" | sed 's#/es/$#/es/index.html#') captured-pages.txt > coverage-missing.txt
|
||||
echo "inventario: $(wc -l < "$BASE/inventory/urls-input.txt")"
|
||||
echo "capturadas: $(wc -l < captured-pages.txt)"
|
||||
echo "sin capturar (aprox): $(wc -l < coverage-missing.txt)"
|
||||
head -20 coverage-missing.txt
|
||||
Reference in New Issue
Block a user