rafa
275aff1430
Los scripts del mirror (00-90) vivian solo en el disco. Van al repo; los datos que generan no (16 GB entre crawl, snapshot del origen y Joomla restaurado) -> .gitignore. Nuevo 91-repone-assets404.sh: repone los ficheros que el crawl no capturo porque se referencian SOLO desde CSS y el crawler seguia enlaces HTML (system.css, los fondos de fe_adulta_1, ratingstars.gif de K2). Salian como 404 en los logs de nginx del Hetzner. Descarga por HTTP desde el Joomla local aislado, nunca del filesystem -- mismo principio que el crawl, para no arrastrar los .php comprometidos del #183 -- y escanea PHP embebido antes de copiar a site/. Resultado sobre las 286 rutas unicas con 404 del log: 196 repuestas y verificadas en produccion (196/196 en 200 tras el rsync), 82 que dan 301->404 tambien en el origen (ya estaban rotas en la web original) y 8 rutas basura /%22/... de HTML mal formado. Refs #180 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
18 lines
865 B
Bash
18 lines
865 B
Bash
#!/bin/bash
|
|
# El lote a-00 del pase B resulto ser casi todo basura: URLs de articulo cuyo alias lleva un '?'
|
|
# literal (mal clasificadas como assets) y sus vistas de impresion. Los assets de verdad estaban en
|
|
# a-01 y a-02, que ya terminaron. Se corta a-00 y se documenta.
|
|
set -uo pipefail
|
|
BASE=/home/rafa/joomla-migration/mirror-antiguo
|
|
RUN=$(cat "$BASE/CURRENT_RUN")
|
|
D=$BASE/runs/$RUN
|
|
echo "=== composicion de a-00 ==="
|
|
echo "total: $(wc -l < "$D/chunks-assets/a-00.txt")"
|
|
echo "bajo /es/ (articulos, no assets): $(grep -c '/es/' "$D/chunks-assets/a-00.txt")"
|
|
echo "assets reales: $(grep -vc '/es/' "$D/chunks-assets/a-00.txt")"
|
|
pkill -f 'chunks-assets/a-00.txt' && echo "a-00 detenido" || echo "a-00 ya no corria"
|
|
sleep 2
|
|
date -u +%FT%TZ > "$D/logs/passB.end"
|
|
echo "=== restos a limpiar (vistas de impresion) ==="
|
|
find "$D/raw" -type f -name '*print=1*' | wc -l
|