#!/bin/bash
# Pase D: /anterior — la web estatica anterior a Joomla, enlazada desde el menu principal.
# Es HTML plano servido por Apache (solo 1 .php en 34.037 ficheros): la recursion aqui es finita
# y no pasa por PHP, asi que no reproduce la trampa de paginacion de K2.
set -uo pipefail
BASE=/home/rafa/joomla-migration/mirror-antiguo
RUN=$(cat "$BASE/CURRENT_RUN")
DIR=$BASE/runs/$RUN

date -u +%FT%TZ > "$DIR/logs/passD.start"
wget \
  --recursive --level=inf --no-parent \
  --force-directories --directory-prefix="$DIR/raw" \
  --adjust-extension --no-verbose --no-clobber -e robots=off \
  --domains=antiguo.feadulta.com --span-hosts=off \
  --user-agent='feadulta-archiver/1.0 (+incident-183; mirror local)' \
  --wait=0.05 --tries=2 --timeout=45 --waitretry=3 \
  --reject-regex='(\?|&)(C|O|start|limitstart|limit|print|tmpl|format|searchword|task|orderby|filter)=' \
  --output-file="$DIR/logs/wget-anterior.log" \
  http://antiguo.feadulta.com/anterior/
date -u +%FT%TZ > "$DIR/logs/passD.end"

echo "PASE D TERMINADO"
find "$DIR/raw/antiguo.feadulta.com/anterior" -type f 2>/dev/null | wc -l
du -sh "$DIR/raw/antiguo.feadulta.com/anterior" 2>/dev/null
grep -hoE 'ERROR [0-9]+' "$DIR/logs/wget-anterior.log" | sort | uniq -c