vbuild-fedora-mirror.sh

   1 #!/bin/bash
   2 # this can help you create/update your fedora mirror
   3 # $Id$
   4
   5 COMMAND=$(basename $0)
   6 LOGDIR=/var/log/fedora-mirroring
   7 DATE=$(date '+%Y-%m-%d-%H-%M')
   8 LOG=${LOGDIR}/${DATE}.log
   9
  10 dry_run=
  11 verbose=
  12 log=
  13 skip_core=true
  14 root=/mirror/
  15
  16
  17 hozac_url=http://rpm.hozac.com/dhozac/centos/5/vserver
  18 # Daniel mentions rsync://rpm.hozac.com/dhozac/centos/5/vserver/
  19
  20 us_fedora_url=rsync://mirrors.kernel.org/fedora
  21 us_centos_url=rsync://mirrors.rit.edu/centos
  22 us_epel_url=rsync://rsync.gtlib.gatech.edu/fedora-epel
  23
  24 # ircam's fedora8 repo has been turned off
  25 #eu_fedora_url=rsync://mirrors.ircam.fr/fedora-linux
  26 eu_fedora_url=rsync://mirror.ovh.net/download.fedora.redhat.com/linux
  27 eu_centos_url=rsync://mirrors.ircam.fr/CentOS
  28 eu_epel_url=rsync://mirrors.ircam.fr/fedora-epel
  29
  30 jp_fedora_url="jp_fedora_url-needs-to-be-defined"
  31 jp_centos_url="jp_centos_url-needs-to-be-defined"
  32 jp_epel_url="jp_epel_url-needs-to-be-defined"
  33
  34 default_distroname="centos5"
  35 all_distronames="f8 f10 f11 centos5.3 epel5"
  36 default_arch="i386"
  37 all_archs="i386 x86_64"
  38
  39 case $(hostname) in
  40     *.fr|*.de|*.uk)
  41         fedora_url=$eu_fedora_url ; centos_url=$eu_centos_url ; epel_url=$eu_epel_url ;;
  42     *.jp)
  43         fedora_url=$jp_fedora_url ; centos_url=$jp_centos_url ; epel_url=$jp_epel_url ;;
  44     *)
  45         fedora_url=$us_fedora_url ; centos_url=$us_centos_url ; epel_url=$us_epel_url ;;
  46 esac
  47
  48 function mirror_distro_arch () {
  49     distroname=$1; shift
  50     arch=$1; shift
  51
  52     LFTP=0
  53
  54     distroname=$(echo $distroname | tr '[A-Z]' '[a-z]')
  55     case $distroname in
  56         fc*[1-6])
  57             distroindex=$(echo $distroname | sed -e "s,fc,,g")
  58             distro="Fedora Core"
  59             rsyncurl=$fedora_url
  60             ;;
  61         f*[7-9]|f1?)
  62             distroindex=$(echo $distroname | sed -e "s,f,,g")
  63             distro="Fedora"
  64             rsyncurl=$fedora_url
  65             ;;
  66         centos[4-5]|centos[4-5].[0-9])
  67             distroindex=$(echo $distroname | sed -e "s,centos,,g")
  68             distro="CentOS"
  69             rsyncurl=$centos_url
  70             ;;
  71         epel5)
  72             distroindex=5
  73             distro=epel
  74             rsyncurl=$epel_url
  75             ;;
  76         hozac)
  77             distroindex=5
  78             distro="hozac"
  79             rsyncurl=$hozac_url
  80             ;;
  81         *)
  82             echo "WARNING -- Unknown distribution $distroname -- skipped"
  83             return 1
  84             ;;
  85     esac
  86
  87     excludelist="debug/ iso/ ppc/ source/"
  88     options="--archive --compress --delete --delete-excluded $dry_run $verbose"
  89     lftp_options="--delete $dry_run $verbose"
  90     [ -n "$(rsync --help | grep no-motd)" ] && options="$options --no-motd"
  91     for e in $excludelist; do
  92         options="$options --exclude $e"
  93         lftp_options="$lftp_options --exclude $e"
  94     done
  95
  96     echo ">>>>>>>>>>>>>>>>>>>> root=$root distroname=$distroname arch=$arch rsyncurl=$rsyncurl"
  97     [ -n "$verbose" ] && echo "rsync options=$options"
  98
  99     RES=1
 100     paths=""
 101     case $distro in
 102         [Ff]edora*)
 103             case $distroindex in
 104                 2|4|6)
 105                     [ -z "$skip_core" ] && paths="core/$distroindex/$arch/os/"
 106                     paths="$paths core/updates/$distroindex/$arch/ extras/$distroindex/$arch/"
 107                     RES=0
 108                     ;;
 109                 7|8|9|1?)
 110                     [ -z "$skip_core" ] && paths="releases/$distroindex/Everything/$arch/os/"
 111                     paths="$paths updates/$distroindex/$arch/"
 112                     # f8 and f9 have the additional newkey repo
 113                     case $distroindex in
 114                         8|9) paths="$paths updates/$distroindex/${arch}.newkey/" ;;
 115                     esac
 116                     RES=0
 117                     ;;
 118             esac
 119             localpath=fedora
 120             ;;
 121
 122         CentOS*)
 123             case $distroindex in
 124                 5*)
 125                     [ -z "$skip_core" ] && paths="$distroindex/os/$arch/"
 126                     paths="$paths $distroindex/updates/$arch/"
 127                     RES=0
 128                     ;;
 129             esac
 130             localpath=centos
 131             ;;
 132
 133         epel*)
 134             case $distroindex in
 135                 5)
 136                     paths="$paths $distroindex/$arch/"
 137                     RES=0
 138                     ;;
 139             esac
 140             localpath=epel
 141             ;;
 142
 143         hozac*)
 144             case $distroindex in
 145                 5)
 146                     # leave off trailing '/'
 147                     paths="$paths $arch"
 148                     RES=0
 149                     LFTP=1
 150                     ;;
 151             esac
 152             localpath=dhozac
 153             ;;
 154
 155     esac
 156
 157     if [ "$RES" = 1 ] ; then
 158         echo "DISTRIBUTION $distro $distroindex CURRENTLY UNSUPPORTED - skipped"
 159     else
 160         for repopath in $paths; do
 161             echo "===== $distro -> $distroindex $repopath"
 162             [ -z "$dry_run" ] && mkdir -p ${root}/${localpath}/${repopath}
 163             if [ "$LFTP" = 1 ]; then
 164                 command="lftp -c mirror $lftp_options ${rsyncurl}/${repopath} ${root}/${localpath}/${repopath}"
 165             else
 166                 command="rsync $options ${rsyncurl}/${repopath} ${root}/${localpath}/${repopath}"
 167             fi
 168             echo $command
 169             $command
 170         done
 171     fi
 172
 173     echo "<<<<<<<<<<<<<<<<<<<< $distroname $arch"
 174
 175     return $RES
 176 }
 177
 178 function usage () {
 179     echo "Usage: $COMMAND [-n] [-v] [-c] [-r root] [-u|U rsyncurl] [-e|-j] [-f distroname|-F] [-a arch|-A]"
 180     echo "Defaults to -r $root -f $default_distroname -a $default_arch"
 181     echo "Default urls : $fedora_url $centos_url"
 182     echo "Options:"
 183     echo " -n : dry run"
 184     echo " -v : verbose"
 185     echo " -l : turns on autologging in $LOGDIR"
 186     echo " -c : skips core repository (default)"
 187     echo " -C : force syncing core repository"
 188     echo " -r root (default is $root)"
 189     echo " -u rsyncurl for fedora (default is $fedora_url)"
 190     echo " -U rsyncurl for centos (default is $centos_url)"
 191     echo " -E rsyncurl for epel (default is $epel_url)"
 192     echo " -s : uses standard (US) mirrors $us_fedora_url $us_centos_url $us_epel_url"
 193     echo " -e : uses European mirrors $eu_fedora_url $eu_centos_url $eu_epel_url"
 194     echo " -j : uses Japanese mirrors $jp_fedora_url $jp_centos_url $jp_epel_url"
 195     echo " -f distroname - use vserver convention, e.g. f8 or centos5"
 196     echo " -F : for distroname in $all_distronames"
 197     echo " -a arch - use yum convention"
 198     echo " -A : for arch in $all_archs"
 199     exit 1
 200 }
 201
 202 function run () {
 203     RES=0
 204     for distroname in $distronames ; do
 205         for arch in $archs; do
 206             mirror_distro_arch "$distroname" "$arch" || RES=1
 207         done
 208     done
 209     return $RES
 210 }
 211
 212 function main () {
 213     distronames=""
 214     archs=""
 215     while getopts "nvlcCr:u:U:E:sejf:Fa:Ah" opt ; do
 216         case $opt in
 217             n) dry_run=--dry-run ;;
 218             v) verbose=--verbose ;;
 219             l) log=true ;;
 220             c) skip_core=true ;;
 221             C) skip_core= ;;
 222             r) root=$OPTARG ;;
 223             u) fedora_url=$OPTARG ;;
 224             U) centos_url=$OPTARG ;;
 225             E) epel_url=$OPTARG ;;
 226             s) fedora_url=$us_fedora_url ; centos_url=$us_centos_url ; epel_url=$us_epel_url;;
 227             e) fedora_url=$eu_fedora_url ; centos_url=$eu_centos_url ; epel_url=$eu_epel_url ;;
 228             j) fedora_url=$jp_fedora_url ; centos_url=$jp_centos_url ; epel_url=$jp_epel_url ;;
 229             f) distronames="$distronames $OPTARG" ;;
 230             F) distronames="$distronames $all_distronames" ;;
 231             a) archs="$archs $OPTARG" ;;
 232             A) archs="$archs $all_archs" ;;
 233             h|*) usage ;;
 234         esac
 235     done
 236     [ -z "$distronames" ] && distronames=$default_distroname
 237     [ -z "$archs" ] && archs=$default_arch
 238
 239     # auto log : if specified
 240     if [ -n "$log" ] ; then
 241         mkdir -p $LOGDIR
 242         run &> $LOG
 243     else
 244         run
 245     fi
 246     exit $?
 247 }
 248
 249 main "$@"