typo
[build.git] / vbuild-init-vserver.sh
1 #!/bin/bash
2 # -*-shell-*-
3
4 #shopt -s huponexit
5
6 COMMAND=$(basename $0)
7 DIRNAME=$(dirname $0)
8
9 # pkgs parsing utilities
10 PATH=$(dirname $0):$PATH export PATH
11 . build.common
12
13 DEFAULT_FCDISTRO=f14
14 DEFAULT_PLDISTRO=planetlab
15 DEFAULT_PERSONALITY=linux64
16 DEFAULT_IFNAME=eth0
17
18 COMMAND_VBUILD="vbuild-init-vserver.sh"
19 COMMAND_MYPLC="vtest-init-vserver.sh"
20
21 function failure () {
22     echo "$COMMAND : Bailing out"
23     exit 1
24 }
25
26 # overwrite vserver's internal yum config from what is in
27 # .distributions/<distrib>/yum/yum.conf and /yum.repos.d 
28
29 function configure_yum_in_vserver () {
30     set -x 
31     set -e 
32     trap failure ERR INT
33
34     vserver=$1; shift
35     fcdistro=$1; shift
36     pldistro=$1; shift
37
38     templates=/etc/vservers/.distributions/${fcdistro}
39     if [ -f ${templates}/yum/yum.conf ] ; then
40         echo "Initializing yum.conf in $vserver from ${templates}/yum"
41         sed -e "s!@YUMETCDIR@!/etc!g;
42                 s!@YUMCACHEDIR@!/var/cache/yum!g;
43                 s!@YUMLOGDIR@!/var/log!g;
44                 s!@YUMLOCKDIR@!/var/lock!g;
45                " ${templates}/yum/yum.conf > /vservers/$vserver/etc/yum.conf
46
47         # post process the various @...@ variables from this yum.conf file.
48     else
49         echo "Using $fcdistro default for yum.conf"
50     fi
51
52     if [ -d ${templates}/yum.repos.d ] ; then
53         echo "Initializing yum.repos.d in $vserver from ${templates}/yum.repos.d"
54         rm -rf /vservers/$vserver/etc/yum.repos.d
55         tar -C ${templates} -cf - yum.repos.d | tar -C /vservers/$vserver/etc -xvf -
56     else
57         echo "Cannot initialize yum.repos.d in $vserver"
58     fi
59
60     # for using vtest-init-vserver.sh as a general-purpose vserver creation wrapper
61     # just mention 'none' as the repo url
62     if [ -n "$MYPLC_MODE" -a "$REPO_URL" != "none" ] ; then
63         if [ ! -d /vservers/$vserver/etc/yum.repos.d ] ; then
64             echo "WARNING : cannot create myplc repo"
65         else
66             # exclude kernel from fedora repos 
67             yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
68             for repo in /vservers/$vserver/etc/yum.repos.d/* ; do
69                 [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude" 
70             done
71             # the build repo is not signed at this stage
72             cat > /vservers/$vserver/etc/yum.repos.d/myplc.repo <<EOF
73 [myplc]
74 name= MyPLC
75 baseurl=$REPO_URL
76 enabled=1
77 gpgcheck=0
78 EOF
79         fi
80     fi
81 }    
82
83 # return yum or debootstrap
84 function package_method () {
85     fcdistro=$1; shift
86     case $fcdistro in
87         f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
88         squeeze|wheezy|oneiric|precise|quantal) echo debootstrap ;;
89         *) echo Unknown distro $fcdistro ;;
90     esac 
91 }
92
93 # need to specify the right mirror for debian variants like ubuntu and the like
94 function debian_mirror () {
95     fcdistro=$1; shift
96     case $fcdistro in
97         squeeze|wheezy) 
98             echo http://ftp2.fr.debian.org/debian/ ;;
99         oneiric|precise|quantal) 
100             echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
101         *) echo unknown distro $fcdistro; exit 1;;
102     esac
103 }
104
105
106
107 # return arch from debian distro and personality
108 function canonical_arch () {
109     personality=$1; shift
110     fcdistro=$1; shift
111     case $(package_method $fcdistro) in
112         yum)
113             case $personality in *32) echo i386 ;; *64) echo x86_64 ;; *) echo Unknown-arch-1 ;; esac ;;
114         debootstrap)
115             case $personality in *32) echo i386 ;; *64) echo amd64 ;; *) echo Unknown-arch-2 ;; esac ;;
116         *)
117             echo Unknown-arch-3 ;;
118     esac
119 }
120
121 # the new test framework creates /timestamp in /vservers/<name> *before* populating it
122 function almost_empty () { 
123     dir="$1"; shift ; 
124     # non existing is fine
125     [ ! -d $dir ] && return 0; 
126     # need to have at most one file
127     count=$(cd $dir; ls | wc -l); [ $count -le 1 ]; 
128 }
129
130 function setup_vserver () {
131
132     set -x
133     set -e
134     trap failure ERR INT
135
136     vserver=$1; shift
137     fcdistro=$1; shift
138     pldistro=$1; shift
139     personality=$1; shift
140
141     # check that this is a new one - see above
142     almost_empty /vservers/$vserver || {        
143         echo "$COMMAND : vserver $vserver seems to exist - bailing out"
144         exit 1
145         }
146
147     pkg_method=$(package_method $fcdistro)
148     case $pkg_method in
149         yum)
150             build_options="-m yum -- -d $fcdistro" 
151             ;;
152         debootstrap)
153             arch=$(canonical_arch $personality $fcdistro)
154             debmirror=$(debian_mirror $fcdistro)
155             build_options="-m debootstrap -- -d $fcdistro -m $debmirror -- --arch $arch"
156             ;;
157         *)
158             build_options="undefined-package_method" ;;
159     esac
160
161     # create it
162     # try to work around the vserver issue:
163     # vc_ctx_migrate: No such process
164     # rpm-fake.so: failed to initialize communication with resolver
165     for i in $(seq 20) ; do
166         $personality vserver $VERBOSE $vserver build $VSERVER_OPTIONS $build_options && break || true
167         echo "* ${i}-th attempt to 'vserver build' failed - waiting for 3 seconds"
168         sleep 3
169     done
170     # check success - not enough to check for the directory, let's assume /etc/ in image
171     [ -d /vservers/$vserver/etc ] 
172
173     if [ ! -z "$personality" ] ; then
174         if [ -f "/etc/vservers/$vserver/personality" ] ; then
175             registered_personality=$(grep $personality /etc/vservers/$vserver/personality | wc -l)
176         else
177             registered_personality=0
178         fi
179         if [ $registered_personality -eq 0 -a "$personality" != "linux64" ] ; then
180             echo $personality >> /etc/vservers/$vserver/personality
181         fi
182     fi
183
184     BCAPFILE=/etc/vservers/$vserver/bcapabilities
185     touch $BCAPFILE
186     if [ -n "$VBUILD_MODE" ] ; then 
187         ### capabilities required for a build vserver
188         # set up appropriate vserver capabilities to mount, mknod and IPC_LOCK
189         grep -q ^CAP_SYS_ADMIN $BCAPFILE || echo CAP_SYS_ADMIN >> $BCAPFILE
190         grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
191         grep -q ^CAP_IPC_LOCK $BCAPFILE || echo CAP_IPC_LOCK >> $BCAPFILE
192         # useful for f16 guests that use set_cap_file 
193         grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
194     else
195         ### capabilities required for a myplc vserver
196         # for /etc/plc.d/gpg - need to init /dev/random
197         grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
198         grep -q ^CAP_NET_BIND_SERVICE $BCAPFILE || echo CAP_NET_BIND_SERVICE >> $BCAPFILE
199         # useful for f16 guests that use set_cap_file 
200         grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
201     fi
202
203     # Set persistent for the network context
204     # Thierry: Daniel's kernels come with single_ip turned off by default, let's make this explicit 
205     echo "persistent,lback_allow,~single_ip" > /etc/vservers/$vserver/nflags
206
207     # Set cflags
208     echo -e "persistent\n~info_init" > /etc/vservers/$vserver/cflags
209
210     # Enable cgroup
211     mkdir /etc/vservers/$vserver/cgroup
212
213     # Set the init style of your vserver to plain for f16 and higher
214     # not working with f16 anyways, systemd requires 2.6.36 to work
215     case $fcdistro in 
216         f1[5-9]) echo plain > /etc/vservers/$vserver/apps/init/style ;;
217     esac
218
219     if [ "$pkg_method" = "yum" ] ; then
220         $personality vyum $vserver -- -y install yum
221         # ditto
222         for i in $(seq 20) ; do
223             $personality vserver $VERBOSE $vserver pkgmgmt internalize && break || true
224             echo "* ${i}-th attempt to 'vserver pkgmgmt internalize' failed - waiting for 3 seconds"
225             sleep 3
226         done
227     fi
228     
229     # turns out that with wheezy at least, at this point we're getting 
230     # /vservers/<vs>/var/run -> /run
231     # /vservers/<vs>/var/lock -> /run/lock
232     # trying to fix this with relative links does not appear to work fine
233     # when trying to vserver start we're then getting
234     # + exec /usr/sbin/vspace --mount --fs --new -- /usr/sbin/vserver ----nonamespace debuild09 start
235     # fakerunlevel: open("/var/run/utmp"): No such file or directory
236     # so instead we bluntly create empty dirs and hope for the best
237     if [ "$pkg_method" = "debootstrap" ] ; then
238         [ -h /vservers/$vserver/var/run ] && [ ! -d /vservers/$vserver/var/run ] && \
239 #           { rm -f /vservers/$vserver/var/run ; ln -s ../run /vservers/$vserver/var/run ; }
240             { rm -f /vservers/$vserver/var/run ; mkdir /vservers/$vserver/var/run ; }
241         [ -h /vservers/$vserver/var/lock ] && [ ! -d /vservers/$vserver/var/lock ] && \
242 #           { rm -f /vservers/$vserver/var/lock ; ln -s ../run/lock /vservers/$vserver/var/lock ; }
243             { rm -f /vservers/$vserver/var/lock ; mkdir /vservers/$vserver/var/lock ; }
244     fi
245
246     # start the vserver so we can do the following operations
247     # redirect out/err to protect against the vserver's init sequence getting stalled 
248     # mostly used for f10 vservers created remotely through ssh
249     $personality vserver $VERBOSE $vserver start >& /dev/null
250
251     if [ "$pkg_method" == "yum" ] ; then
252         $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
253
254         # run the host rpmdb_dump and restore with the guest rpmdb_load
255         function translate_rpm_hashes () {
256             set -x
257             set -e
258             local personality="$1"; shift
259             local vserver="$1"; shift
260             # need to have utilities installed
261             type -p file
262             type -p awk
263             type -p cut
264             guest_dir=/var/lib/rpm
265             host_dir=/vservers/$vserver/$guest_dir
266             files=$(cd $host_dir ; file * | grep Hash | cut -d: -f 1)
267             for file in $files; do
268                 (cd $host_dir && mv $file ${file}-foreign)
269                 /usr/lib/rpm/rpmdb_dump $host_dir/${file}-foreign | $personality vserver $VERBOSE $vserver exec /usr/lib/rpm/rpmdb_load $guest_dir/$file
270             done
271             $personality vserver $VERBOSE $vserver exec rpm --rebuilddb
272             return 0
273         }
274
275         # try the simple way, if that fails try to cross fix the rpm hashes
276         $personality vserver $VERBOSE $vserver exec rpm --rebuilddb || translate_rpm_hashes $personality $vserver
277     fi
278
279     # check if the vserver kernel is using VSERVER_DEVICE (vdevmap) support
280     need_vdevmap=$(grep "CONFIG_VSERVER_DEVICE=y" /boot/config-$(uname -r) | wc -l)
281
282     if [ $need_vdevmap -eq 1 ] ; then
283         ctx=$(cat /etc/vservers/$vserver/context)
284         vdevmap --set --xid $ctx --open --create --target /dev/null
285         vdevmap --set --xid $ctx --open --create --target /dev/root
286     fi
287             
288     # minimal config in the vserver for yum to work
289     [ "$pkg_method" = "yum" ] && configure_yum_in_vserver $vserver $fcdistro $pldistro
290
291     # set up resolv.conf
292     cp /etc/resolv.conf /vservers/$vserver/etc/resolv.conf
293     # and /etc/hosts for at least localhost
294     [ -f /vservers/$vserver/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > /vservers/$vserver/etc/hosts
295
296 }
297
298 function devel_or_vtest_tools () {
299
300     set -x 
301     set -e 
302     trap failure ERR INT
303
304     vserver=$1; shift
305     fcdistro=$1; shift
306     pldistro=$1; shift
307     personality=$1; shift
308
309     pkg_method=$(package_method $fcdistro)
310
311     pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
312
313     ### install individual packages, then groups
314     # get target arch - use uname -i here (we want either x86_64 or i386)
315     vserver_arch=$($personality vserver $vserver exec uname -i)
316     # on debian systems we get arch through the 'arch' command
317     [ "$vserver_arch" = "unknown" ] && vserver_arch=$($personality vserver $vserver exec arch)
318     
319     packages=$(pl_getPackages -a $vserver_arch $fcdistro $pldistro $pkgsfile)
320     groups=$(pl_getGroups -a $vserver_arch $fcdistro $pldistro $pkgsfile)
321
322     case "$pkg_method" in
323         yum)
324             [ -n "$packages" ] && $personality vserver $vserver exec yum -y install $packages
325             for group_plus in $groups; do
326                 group=$(echo $group_plus | sed -e "s,+++, ,g")
327                 $personality vserver $vserver exec yum -y groupinstall "$group"
328             done
329             # store current rpm list in /init-vserver.rpms in case we need to check the contents
330             $personality vserver $vserver exec rpm -aq > /vservers/$vserver/init-vserver.rpms
331             ;;
332         debootstrap)
333             $personality vserver $vserver exec apt-get update
334             # handle this one firt off to be sure 
335             $personality vserver $vserver exec apt-get install -y locales
336             # all in a single batch 
337             $personality vserver $vserver exec apt-get install -y --ignore-missing $packages
338             # check it up a bit 
339             for package in $packages ; do 
340                 $personality vserver $vserver exec dpkg -l $package >& /dev/null || \
341                     { echo "WARNING - missing package on debian $package - ignored" ; true; }
342             done
343             ### xxx todo install groups with apt..
344             ;;
345         *)
346             echo "unknown pkg_method $pkg_method"
347             ;;
348     esac
349
350     return 0
351 }
352
353 function post_install () {
354     if [ -n "$VBUILD_MODE" ] ; then
355         post_install_vbuild "$@" 
356     else
357         post_install_myplc "$@"
358     fi
359     # setup localtime from the host
360     vserver=$1; shift 
361     cp /etc/localtime /vservers/$vserver/etc/localtime
362 }
363
364 function post_install_vbuild () {
365
366     set -x 
367     set -e 
368     trap failure ERR INT
369
370     vserver=$1; shift
371     personality=$1; shift
372
373 ### From myplc-devel-native.spec
374 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
375     cat << EOF | $personality vserver $VERBOSE $vserver exec bash -x
376     # set up /dev/loop* in vserver
377     for i in \$(seq 0 255) ; do
378         mknod -m 640 /dev/loop\$i b 7 \$i
379     done
380     
381     # create symlink for /dev/fd
382     [ ! -e "/dev/fd" ] && ln -s /proc/self/fd /dev/fd
383
384     # modify /etc/rpm/macros to not use /sbin/new-kernel-pkg
385     sed -i 's,/sbin/new-kernel-pkg:,,' /etc/rpm/macros
386     if [ -h "/sbin/new-kernel-pkg" ] ; then
387         filename=\$(readlink -f /sbin/new-kernel-pkg)
388         if [ "\$filename" == "/sbin/true" ] ; then
389                 echo "WARNING: /sbin/new-kernel-pkg symlinked to /sbin/true"
390                 echo "\tmost likely /etc/rpm/macros has /sbin/new-kernel-pkg declared in _netsharedpath."
391                 echo "\tPlease remove /sbin/new-kernel-pkg from _netsharedpath and reintall mkinitrd."
392                 exit 1
393         fi
394     fi
395     
396     # customize root's prompt
397     cat << PROFILE > /root/.profile
398 export PS1="[$vserver] \\w # "
399 PROFILE
400
401     uid=2000
402     gid=2000
403     
404     # add a "build" user to the system
405     builduser=\$(grep "^build:" /etc/passwd | wc -l)
406     if [ \$builduser -eq 0 ] ; then
407         groupadd -o -g \$gid build;
408         useradd -o -c 'Automated Build' -u \$uid -g \$gid -n -M -s /bin/bash build;
409     fi
410
411 # Allow build user to build certain RPMs as root
412     if [ -f /etc/sudoers ] ; then
413         buildsudo=\$(grep "^build.*ALL=(ALL).*NOPASSWD:.*ALL"  /etc/sudoers | wc -l)
414         if [ \$buildsudo -eq 0 ] ; then
415             echo "build   ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers
416         fi
417         sed -i 's,^Defaults.*requiretty,#Defaults requiretty,' /etc/sudoers
418     fi
419 #
420 EOF
421
422 }
423
424 function post_install_myplc  () {
425     set -x 
426     set -e 
427     trap failure ERR INT
428
429     vserver=$1; shift
430     personality=$1; shift
431
432 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
433     cat << EOF | $personality vserver $VERBOSE $vserver exec bash -x
434
435     # create /etc/sysconfig/network if missing
436     [ -f /etc/sysconfig/network ] || echo NETWORKING=yes > /etc/sysconfig/network
437
438     # create symlink for /dev/fd
439     [ ! -e "/dev/fd" ] && ln -s /proc/self/fd /dev/fd
440
441     # turn off regular crond, as plc invokes plc_crond
442     chkconfig crond off
443
444     # take care of loginuid in /etc/pam.d 
445     sed -i "s,#*\(.*loginuid.*\),#\1," /etc/pam.d/*
446
447     # customize root's prompt
448     cat << PROFILE > /root/.profile
449 export PS1="[$vserver] \\w # "
450 PROFILE
451
452 EOF
453 }
454
455 # parses ifconfig's output to find out ip address and mask
456 # will then be passed to vserver as e.g. --interface 138.96.250.126/255.255.0.0
457 # default is to use lo, that's enough for local mirrors
458 # use -i eth0 in case your fedora mirror is on a separate box on the network
459 function vserverIfconfig () {
460     ifname=$1; shift
461     local result="" 
462     line=$(ifconfig $ifname 2> /dev/null | grep 'inet addr')
463     if [ -n "$line" ] ; then
464         set $line
465         for word in "$@" ; do
466             addr=$(echo $word | sed -e s,[aA][dD][dD][rR]:,,)
467             mask=$(echo $word | sed -e s,[mM][aA][sS][kK]:,,)
468             if [ "$word" != "$addr" ] ; then
469                 result="${addr}"
470             elif [ "$word" != "$mask" ] ; then
471                 result="${result}/${mask}"
472             fi
473         done
474     fi
475     if [ -z "$result" ] ; then 
476         echo "vserverIfconfig failed to locate $ifname"
477         exit 1
478     else
479         echo $result
480     fi
481 }
482
483 function usage () {
484     set +x 
485     echo "Usage: $COMMAND_VBUILD [options] vserver-name [ -- vserver-options ]"
486     echo "Usage: $COMMAND_MYPLC [options] vserver-name repo-url [ -- vserver-options ]"
487     echo "Requirements: you need to have a vserver-compliant kernel,"
488     echo "   as well as the util-vserver RPM installed"
489     echo "Description:"
490     echo "   This command creates a fresh vserver instance, for building, or running, myplc"
491     echo "Supported options"
492     echo " -f fcdistro - for creating the root filesystem - defaults to $DEFAULT_FCDISTRO"
493     echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
494     echo " -p personality - defaults to $DEFAULT_PERSONALITY"
495     echo " -i ifname: determines ip and netmask attached to ifname, and passes it to the vserver"
496     echo " -r : set apps/init/mark to default so the vserver restart upon reboot"
497     echo " -v : verbose - passes -v to calls to vserver"
498     echo "vserver-options"
499     echo "  all args after the optional -- are passed to vserver <name> build <options>"
500     echo "  typical usage is e.g. --interface eth0:200.150.100.10/24"
501     echo "With $COMMAND_MYPLC you can give 'none' as the URL, in which case"
502     echo "   myplc.repo does not get created"
503     exit 1
504 }
505
506 ### parse args and 
507 function main () {
508
509     set -e
510     trap failure ERR INT
511
512     case "$COMMAND" in
513         $COMMAND_VBUILD)
514             VBUILD_MODE=true ;;
515         $COMMAND_MYPLC)
516             MYPLC_MODE=true;;
517         *)
518             usage ;;
519     esac
520
521     VERBOSE=
522     RESISTANT=""
523     IFNAME=""
524     VSERVER_OPTIONS=""
525
526     # the set of preinstalled packages - depends on vbuild or vtest
527     if [ -n "$VBUILD_MODE" ] ; then
528         PREINSTALLED=devel.pkgs
529     else
530         PREINSTALLED=vtest.pkgs
531     fi
532     while getopts "f:d:p:P:i:rv" opt ; do
533         case $opt in
534             f) fcdistro=$OPTARG;;
535             d) pldistro=$OPTARG;;
536             p) personality=$OPTARG;;
537             P) PREINSTALLED=$OPTARG;;
538             i) IFNAME=$OPTARG;;
539             r) RESISTANT="true";;
540             v) VERBOSE="-v" ;;
541             *) usage ;;
542         esac
543     done
544         
545     shift $(($OPTIND - 1))
546
547     # parse fixed arguments
548     [[ -z "$@" ]] && usage
549     vserver=$1 ; shift
550     if [ -n "$MYPLC_MODE" ] ; then
551         [[ -z "$@" ]] && usage
552         REPO_URL=$1 ; shift
553     fi
554
555     # parse vserver options
556     if [[ -n "$@" ]] ; then
557         if [ "$1" == "--" ] ; then
558             shift
559             VSERVER_OPTIONS="$@"
560         else
561             usage
562         fi
563     fi
564
565     # with new util-vserver, it is mandatory to provide an IP even for building
566     if [ -n "$VBUILD_MODE" ] ; then
567         [ -z "$IFNAME" ] && IFNAME=$DEFAULT_IFNAME
568     fi
569     if [ -n "$IFNAME" ] ; then
570         localip=$(vserverIfconfig $IFNAME)
571         VSERVER_OPTIONS="$VSERVER_OPTIONS --interface $localip"
572     fi
573
574     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
575     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
576     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
577
578     setup_vserver $vserver $fcdistro $pldistro $personality 
579     devel_or_vtest_tools $vserver $fcdistro $pldistro $personality
580     post_install $vserver $personality
581
582     # Start Vserver automatically on boot
583     [ -n "$RESISTANt" ] && echo "default" > /etc/vservers/$vserver/apps/init/mark
584
585     echo $COMMAND Done
586 }
587
588 main "$@"