use iproute2 from master so we point at third-party/ as linuxfoundation.org is down
[build.git] / vbuild-fedora-mirror.sh
1 #!/bin/bash
2 # this can help you create/update your fedora mirror
3
4 COMMAND=$(basename $0)
5 LOGDIR=/var/log/fedora-mirroring
6 DATE=$(date '+%Y-%m-%d-%H-%M')
7 LOG=${LOGDIR}/${DATE}.log
8
9 dry_run=
10 verbose=
11 log=
12 skip_core=
13 root=/mirror/
14
15
16 dhozac_url=rsync://rpm.hozac.com/dhozac/centos/
17
18 us_fedora_url=rsync://mirrors.kernel.org/fedora
19 us_centos_url=rsync://mirrors.rit.edu/centos
20 us_epel_url=rsync://rsync.gtlib.gatech.edu/fedora-epel
21
22 # ircam's fedora8 repo has been turned off
23 #eu_fedora_url=rsync://mirrors.ircam.fr/fedora-linux
24 #eu_fedora_url=rsync://mirror.ovh.net/download.fedora.redhat.com/linux
25 eu_fedora_url=rsync://ftp-stud.hs-esslingen.de/fedora/linux
26 eu_centos_url=rsync://mirrors.ircam.fr/CentOS
27 eu_epel_url=rsync://mirrors.ircam.fr/fedora-epel
28
29 pl_fedora_url=$eu_fedora_url
30 pl_centos_url=rsync://ftp.tpnet.pl/centos
31 pl_epel_url=rsync://ftp.icm.edu.pl/pub/Linux/fedora/linux/epel
32
33 jp_fedora_url="jp_fedora_url-needs-to-be-defined"
34 jp_centos_url="jp_centos_url-needs-to-be-defined"
35 jp_epel_url="jp_epel_url-needs-to-be-defined"
36
37 default_distroname="centos5.6"
38 all_distronames="f14 f15 centos5.6 epel5 epel6"
39 default_arch="i386"
40 all_archs="i386 x86_64"
41
42 case $(hostname) in 
43     blitz*|*.fr|*.de|*.uk)
44         fedora_url=$eu_fedora_url ; centos_url=$eu_centos_url ; epel_url=$eu_epel_url ;;
45     *.pl)
46         fedora_url=$pl_fedora_url ; centos_url=$pl_centos_url ; epel_url=$pl_epel_url ;;
47     *.jp)
48         fedora_url=$jp_fedora_url ; centos_url=$jp_centos_url ; epel_url=$jp_epel_url ;;
49     *)
50         fedora_url=$us_fedora_url ; centos_url=$us_centos_url ; epel_url=$us_epel_url ;;
51 esac
52
53 function mirror_distro_arch () {
54     distroname=$1; shift
55     arch=$1; shift
56
57     distroname=$(echo $distroname | tr '[A-Z]' '[a-z]')
58     case $distroname in
59         fc*[1-6])
60             distroindex=$(echo $distroname | sed -e "s,fc,,g")
61             distro="Fedora Core"
62             rsyncurl=$fedora_url
63             ;;
64         f*[7-9]|f1?)
65             distroindex=$(echo $distroname | sed -e "s,f,,g")
66             distro="Fedora"
67             rsyncurl=$fedora_url
68             ;;
69         centos[4-5]|centos[4-5].[0-9])
70             distroindex=$(echo $distroname | sed -e "s,centos,,g")
71             distro="CentOS"
72             rsyncurl=$centos_url
73             ;;
74         epel[5-6])
75             distroindex=$(echo $distroname | sed -e "s,epel,,g")
76             distro=epel
77             rsyncurl=$epel_url
78             ;;
79         dhozac)
80             distroindex=5
81             distro="dhozac"
82             rsyncurl=$dhozac_url
83             ;;
84         *)
85             echo "WARNING -- Unknown distribution $distroname -- skipped"
86             return 1
87             ;;
88     esac
89
90     excludelist="debug/ iso/ ppc/ source/"
91     options="--archive --compress --delete --delete-excluded $dry_run $verbose"
92     [ -n "$(rsync --help | grep no-motd)" ] && options="$options --no-motd"
93     for e in $excludelist; do
94         options="$options --exclude $e"
95     done
96
97     echo ">>>>>>>>>>>>>>>>>>>> root=$root distroname=$distroname arch=$arch rsyncurl=$rsyncurl"
98     [ -n "$verbose" ] && echo "rsync options=$options"
99
100     RES=1
101     paths=""
102     case $distro in
103         [Ff]edora*)
104             case $distroindex in
105                 2|4|6)
106                     [ -z "$skip_core" ] && paths="core/$distroindex/$arch/os/"
107                     paths="$paths core/updates/$distroindex/$arch/ extras/$distroindex/$arch/"
108                     RES=0
109                     ;;
110                 7|8|9|1?)
111                     [ -z "$skip_core" ] && paths="releases/$distroindex/Everything/$arch/os/"
112                     paths="$paths updates/$distroindex/$arch/"
113                     # f8 and f9 have the additional newkey repo
114                     case $distroindex in 
115                         8|9) paths="$paths updates/$distroindex/${arch}.newkey/" ;;
116                     esac
117                     RES=0
118                     ;;
119             esac
120             localpath=fedora
121             ;;
122     
123         CentOS*)
124             case $distroindex in
125                 5*)
126                     [ -z "$skip_core" ] && paths="$distroindex/os/$arch/"
127                     paths="$paths $distroindex/updates/$arch/"
128                     RES=0
129                     ;;
130             esac
131             localpath=centos
132             ;;
133
134         epel*)
135             case $distroindex in
136                 5|6)
137                     paths="$paths $distroindex/$arch/"
138                     RES=0
139                     ;;
140             esac
141             localpath=epel
142             ;;
143
144         dhozac*)
145             case $distroindex in
146                 5)
147                     # leave off trailing '/'
148                     paths="$paths $distroindex/vserver/$arch"
149                     RES=0
150                     ;;
151             esac
152             localpath=dhozac
153             ;;
154
155     esac
156
157     if [ "$RES" = 1 ] ; then
158         echo "DISTRIBUTION $distro $distroindex CURRENTLY UNSUPPORTED - skipped"
159     else
160         for repopath in $paths; do
161             echo "===== $distro -> $distroindex $repopath"
162             [ -z "$dry_run" ] && mkdir -p ${root}/${localpath}/${repopath}
163             command="rsync $options ${rsyncurl}/${repopath} ${root}/${localpath}/${repopath}"
164             echo $command
165             $command
166         done
167     fi
168
169     echo "<<<<<<<<<<<<<<<<<<<< $distroname $arch"
170
171     return $RES 
172 }
173
174 function usage () {
175     echo "Usage: $COMMAND [-n] [-v] [-c] [-r root] [-u|U rsyncurl] [-e|-j] [-f distroname|-F] [-a arch|-A]"
176     echo "Defaults to -r $root -f $default_distroname -a $default_arch"
177     echo "Default urls : $fedora_url $centos_url"
178     echo "Options:"
179     echo " -n : dry run"
180     echo " -v : verbose"
181     echo " -l : turns on autologging in $LOGDIR"
182     echo " -c : skips core repository"
183     echo " -C : force syncing core repository (default)"
184     echo " -r root (default is $root)"
185     echo " -u rsyncurl for fedora (default is $fedora_url)"
186     echo " -U rsyncurl for centos (default is $centos_url)"
187     echo " -E rsyncurl for epel (default is $epel_url)"
188     echo " -s : uses standard (US) mirrors $us_fedora_url $us_centos_url $us_epel_url"
189     echo " -e : uses European mirrors $eu_fedora_url $eu_centos_url $eu_epel_url"
190     echo " -j : uses Japanese mirrors $jp_fedora_url $jp_centos_url $jp_epel_url"
191     echo " -f distroname - use vserver convention, e.g. f8 or centos5"
192     echo " -F : for distroname in $all_distronames"
193     echo " -a arch - use yum convention"
194     echo " -A : for arch in $all_archs"
195     exit 1
196 }
197
198 function run () {
199     RES=0
200     for distroname in $distronames ; do 
201         for arch in $archs; do 
202             mirror_distro_arch "$distroname" "$arch" || RES=1
203         done
204     done
205     return $RES
206 }
207
208 function main () {
209     distronames=""
210     archs=""
211     while getopts "nvlcCr:u:U:E:sejf:Fa:Ah" opt ; do
212         case $opt in
213             n) dry_run=--dry-run ;;
214             v) verbose=--verbose ;;
215             l) log=true ;;
216             c) skip_core=true ;;
217             C) skip_core= ;;
218             r) root=$OPTARG ;;
219             u) fedora_url=$OPTARG ;;
220             U) centos_url=$OPTARG ;;
221             E) epel_url=$OPTARG ;;
222             s) fedora_url=$us_fedora_url ; centos_url=$us_centos_url ; epel_url=$us_epel_url;;
223             e) fedora_url=$eu_fedora_url ; centos_url=$eu_centos_url ; epel_url=$eu_epel_url ;;
224             j) fedora_url=$jp_fedora_url ; centos_url=$jp_centos_url ; epel_url=$jp_epel_url ;;
225             f) distronames="$distronames $OPTARG" ;;
226             F) distronames="$distronames $all_distronames" ;;
227             a) archs="$archs $OPTARG" ;;
228             A) archs="$archs $all_archs" ;;
229             h|*) usage ;;
230         esac
231     done
232     shift $(($OPTIND-1))
233     [[ -n "$@" ]] && usage
234     [ -z "$distronames" ] && distronames=$default_distroname
235     [ -z "$archs" ] && archs=$default_arch
236
237     # auto log : if specified
238     if [ -n "$log" ] ; then
239         mkdir -p $LOGDIR
240         run &> $LOG
241     else
242         run
243     fi
244     exit $?
245 }
246
247 main "$@"