ubuntu ctd
[build.git] / vbuild-init-vserver.sh
1 #!/bin/bash
2 # -*-shell-*-
3
4 #shopt -s huponexit
5
6 COMMAND=$(basename $0)
7 DIRNAME=$(dirname $0)
8
9 # pkgs parsing utilities
10 PATH=$(dirname $0):$PATH export PATH
11 . build.common
12
13 DEFAULT_FCDISTRO=f14
14 DEFAULT_PLDISTRO=planetlab
15 DEFAULT_PERSONALITY=linux64
16 DEFAULT_IFNAME=eth0
17
18 COMMAND_VBUILD="vbuild-init-vserver.sh"
19 COMMAND_MYPLC="vtest-init-vserver.sh"
20
21 function failure () {
22     echo "$COMMAND : Bailing out"
23     exit 1
24 }
25
26 # overwrite vserver's internal yum config from what is in
27 # .distributions/<distrib>/yum/yum.conf and /yum.repos.d 
28
29 function configure_yum_in_vserver () {
30     set -x 
31     set -e 
32     trap failure ERR INT
33
34     vserver=$1; shift
35     fcdistro=$1; shift
36     pldistro=$1; shift
37
38     templates=/etc/vservers/.distributions/${fcdistro}
39     if [ -f ${templates}/yum/yum.conf ] ; then
40         echo "Initializing yum.conf in $vserver from ${templates}/yum"
41         sed -e "s!@YUMETCDIR@!/etc!g;
42                 s!@YUMCACHEDIR@!/var/cache/yum!g;
43                 s!@YUMLOGDIR@!/var/log!g;
44                 s!@YUMLOCKDIR@!/var/lock!g;
45                " ${templates}/yum/yum.conf > /vservers/$vserver/etc/yum.conf
46
47         # post process the various @...@ variables from this yum.conf file.
48     else
49         echo "Using $fcdistro default for yum.conf"
50     fi
51
52     if [ -d ${templates}/yum.repos.d ] ; then
53         echo "Initializing yum.repos.d in $vserver from ${templates}/yum.repos.d"
54         rm -rf /vservers/$vserver/etc/yum.repos.d
55         tar -C ${templates} -cf - yum.repos.d | tar -C /vservers/$vserver/etc -xvf -
56     else
57         echo "Cannot initialize yum.repos.d in $vserver"
58     fi
59
60     # for using vtest-init-vserver.sh as a general-purpose vserver creation wrapper
61     # just mention 'none' as the repo url
62     if [ -n "$MYPLC_MODE" -a "$REPO_URL" != "none" ] ; then
63         if [ ! -d /vservers/$vserver/etc/yum.repos.d ] ; then
64             echo "WARNING : cannot create myplc repo"
65         else
66             # exclude kernel from fedora repos 
67             yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
68             for repo in /vservers/$vserver/etc/yum.repos.d/* ; do
69                 [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude" 
70             done
71             # the build repo is not signed at this stage
72             cat > /vservers/$vserver/etc/yum.repos.d/myplc.repo <<EOF
73 [myplc]
74 name= MyPLC
75 baseurl=$REPO_URL
76 enabled=1
77 gpgcheck=0
78 EOF
79         fi
80     fi
81 }    
82
83 # return yum or debootstrap
84 function package_method () {
85     fcdistro=$1; shift
86     case $fcdistro in
87         f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
88         squeeze|wheezy|oneiric|precise|quantal) echo debootstrap ;;
89         *) echo Unknown distro $fcdistro ;;
90     esac 
91 }
92
93 # need to specify the right mirror for debian variants like ubuntu and the like
94 function debian_mirror () {
95     fcdistro=$1; shift
96     case $fcdistro in
97         squeeze|wheezy) 
98             echo http://ftp2.fr.debian.org/debian/ ;;
99         oneiric|precise|quantal) 
100             echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
101         *) echo unknown distro $fcdistro; exit 1;;
102     esac
103 }
104
105
106
107 # return arch from debian distro and personality
108 function canonical_arch () {
109     personality=$1; shift
110     fcdistro=$1; shift
111     case $(package_method $fcdistro) in
112         yum)
113             case $personality in *32) echo i386 ;; *64) echo x86_64 ;; *) echo Unknown-arch-1 ;; esac ;;
114         debootstrap)
115             case $personality in *32) echo i386 ;; *64) echo amd64 ;; *) echo Unknown-arch-2 ;; esac ;;
116         *)
117             echo Unknown-arch-3 ;;
118     esac
119 }
120
121 # the new test framework creates /timestamp in /vservers/<name> *before* populating it
122 function almost_empty () { 
123     dir="$1"; shift ; 
124     # non existing is fine
125     [ ! -d $dir ] && return 0; 
126     # need to have at most one file
127     count=$(cd $dir; ls | wc -l); [ $count -le 1 ]; 
128 }
129
130 function setup_vserver () {
131
132     set -x
133     set -e
134     trap failure ERR INT
135
136     vserver=$1; shift
137     fcdistro=$1; shift
138     pldistro=$1; shift
139     personality=$1; shift
140
141     # check that this is a new one - see above
142     almost_empty /vservers/$vserver || {        
143         echo "$COMMAND : vserver $vserver seems to exist - bailing out"
144         exit 1
145         }
146
147     pkg_method=$(package_method $fcdistro)
148     case $pkg_method in
149         yum)
150             build_options="-m yum -- -d $fcdistro" 
151             ;;
152         debootstrap)
153             arch=$(canonical_arch $personality $fcdistro)
154             debmirror=$(debian_mirror $fcdistro)
155             build_options="-m debootstrap -- -d $fcdistro -m $debmirror -- --arch $arch"
156             ;;
157         *)
158             build_options="undefined-package_method" ;;
159     esac
160
161     # create it
162     # try to work around the vserver issue:
163     # vc_ctx_migrate: No such process
164     # rpm-fake.so: failed to initialize communication with resolver
165     for i in $(seq 20) ; do
166         $personality vserver $VERBOSE $vserver build $VSERVER_OPTIONS $build_options && break || true
167         echo "* ${i}-th attempt to 'vserver build' failed - waiting for 3 seconds"
168         sleep 3
169     done
170     # check success - not enough to check for the directory, let's assume /etc/ in image
171     [ -d /vservers/$vserver/etc ] 
172
173     if [ ! -z "$personality" ] ; then
174         if [ -f "/etc/vservers/$vserver/personality" ] ; then
175             registered_personality=$(grep $personality /etc/vservers/$vserver/personality | wc -l)
176         else
177             registered_personality=0
178         fi
179         if [ $registered_personality -eq 0 -a "$personality" != "linux64" ] ; then
180             echo $personality >> /etc/vservers/$vserver/personality
181         fi
182     fi
183
184     BCAPFILE=/etc/vservers/$vserver/bcapabilities
185     touch $BCAPFILE
186     if [ -n "$VBUILD_MODE" ] ; then 
187         ### capabilities required for a build vserver
188         # set up appropriate vserver capabilities to mount, mknod and IPC_LOCK
189         grep -q ^CAP_SYS_ADMIN $BCAPFILE || echo CAP_SYS_ADMIN >> $BCAPFILE
190         grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
191         grep -q ^CAP_IPC_LOCK $BCAPFILE || echo CAP_IPC_LOCK >> $BCAPFILE
192         # useful for f16 guests that use set_cap_file 
193         grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
194     else
195         ### capabilities required for a myplc vserver
196         # for /etc/plc.d/gpg - need to init /dev/random
197         grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
198         grep -q ^CAP_NET_BIND_SERVICE $BCAPFILE || echo CAP_NET_BIND_SERVICE >> $BCAPFILE
199         # useful for f16 guests that use set_cap_file 
200         grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
201     fi
202
203     # Set persistent for the network context
204     # Thierry: Daniel's kernels come with single_ip turned off by default, let's make this explicit 
205     echo "persistent,lback_allow,~single_ip" > /etc/vservers/$vserver/nflags
206
207     # Set cflags
208     echo -e "persistent\n~info_init" > /etc/vservers/$vserver/cflags
209
210     # Enable cgroup
211     mkdir /etc/vservers/$vserver/cgroup
212
213     # Set the init style of your vserver to plain for f16 and higher
214     # not working with f16 anyways, systemd requires 2.6.36 to work
215     case $fcdistro in 
216         f1[5-9]) echo plain > /etc/vservers/$vserver/apps/init/style ;;
217     esac
218
219     if [ "$pkg_method" = "yum" ] ; then
220         $personality vyum $vserver -- -y install yum
221         # ditto
222         for i in $(seq 20) ; do
223             $personality vserver $VERBOSE $vserver pkgmgmt internalize && break || true
224             echo "* ${i}-th attempt to 'vserver pkgmgmt internalize' failed - waiting for 3 seconds"
225             sleep 3
226         done
227     fi
228     
229     # turns out that with wheezy at least, at this point we're getting 
230     # /vservers/<vs>/var/run -> /run
231     # /vservers/<vs>/var/lock -> /run/lock
232     # trying to fix this with relative links does not appear to work fine
233     # when trying to vserver start we're then getting
234     # + exec /usr/sbin/vspace --mount --fs --new -- /usr/sbin/vserver ----nonamespace debuild09 start
235     # fakerunlevel: open("/var/run/utmp"): No such file or directory
236     # so instead we bluntly create empty dirs and hope for the best
237     if [ "$pkg_method" = "debootstrap" ] ; then
238         [ -h /vservers/$vserver/var/run ] && [ ! -d /vservers/$vserver/var/run ] && \
239 #           { rm -f /vservers/$vserver/var/run ; ln -s ../run /vservers/$vserver/var/run ; }
240             { rm -f /vservers/$vserver/var/run ; mkdir /vservers/$vserver/var/run ; }
241         [ -h /vservers/$vserver/var/lock ] && [ ! -d /vservers/$vserver/var/lock ] && \
242 #           { rm -f /vservers/$vserver/var/lock ; ln -s ../run/lock /vservers/$vserver/var/lock ; }
243             { rm -f /vservers/$vserver/var/lock ; mkdir /vservers/$vserver/var/lock ; }
244     fi
245
246     # start the vserver so we can do the following operations
247     # redirect out/err to protect against the vserver's init sequence getting stalled 
248     # mostly used for f10 vservers created remotely through ssh
249     $personality vserver $VERBOSE $vserver start >& /dev/null
250
251     if [ "$pkg_method" == "yum" ] ; then
252         $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
253
254         # run the host rpmdb_dump and restore with the guest rpmdb_load
255         function translate_rpm_hashes () {
256             set -x
257             set -e
258             local personality="$1"; shift
259             local vserver="$1"; shift
260             # need to have utilities installed
261             type -p file
262             type -p awk
263             type -p cut
264             guest_dir=/var/lib/rpm
265             host_dir=/vservers/$vserver/$guest_dir
266             files=$(cd $host_dir ; file * | grep Hash | cut -d: -f 1)
267             for file in $files; do
268                 (cd $host_dir && mv $file ${file}-foreign)
269                 /usr/lib/rpm/rpmdb_dump $host_dir/${file}-foreign | $personality vserver $VERBOSE $vserver exec /usr/lib/rpm/rpmdb_load $guest_dir/$file
270             done
271             $personality vserver $VERBOSE $vserver exec rpm --rebuilddb
272             return 0
273         }
274
275         # try the simple way, if that fails try to cross fix the rpm hashes
276         $personality vserver $VERBOSE $vserver exec rpm --rebuilddb || translate_rpm_hashes $personality $vserver
277     fi
278
279     # check if the vserver kernel is using VSERVER_DEVICE (vdevmap) support
280     need_vdevmap=$(grep "CONFIG_VSERVER_DEVICE=y" /boot/config-$(uname -r) | wc -l)
281
282     if [ $need_vdevmap -eq 1 ] ; then
283         ctx=$(cat /etc/vservers/$vserver/context)
284         vdevmap --set --xid $ctx --open --create --target /dev/null
285         vdevmap --set --xid $ctx --open --create --target /dev/root
286     fi
287             
288     # minimal config in the vserver for yum to work
289     [ "$pkg_method" = "yum" ] && configure_yum_in_vserver $vserver $fcdistro $pldistro
290
291     # set up resolv.conf
292     cp /etc/resolv.conf /vservers/$vserver/etc/resolv.conf
293     # and /etc/hosts for at least localhost
294     [ -f /vservers/$vserver/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > /vservers/$vserver/etc/hosts
295
296 }
297
298 function devel_or_vtest_tools () {
299
300     set -x 
301     set -e 
302     trap failure ERR INT
303
304     vserver=$1; shift
305     fcdistro=$1; shift
306     pldistro=$1; shift
307     personality=$1; shift
308
309     pkg_method=$(package_method $fcdistro)
310
311     pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
312
313     ### install individual packages, then groups
314     # get target arch - use uname -i here (we want either x86_64 or i386)
315     vserver_arch=$($personality vserver $vserver exec uname -i)
316     # on debian systems we get arch through the 'arch' command
317     [ "$vserver_arch" = "unknown" ] && vserver_arch=$($personality vserver $vserver exec arch)
318     
319     packages=$(pl_getPackages -a $vserver_arch $fcdistro $pldistro $pkgsfile)
320     groups=$(pl_getGroups -a $vserver_arch $fcdistro $pldistro $pkgsfile)
321
322     case "$pkg_method" in
323         yum)
324             [ -n "$packages" ] && $personality vserver $vserver exec yum -y install $packages
325             for group_plus in $groups; do
326                 group=$(echo $group_plus | sed -e "s,+++, ,g")
327                 $personality vserver $vserver exec yum -y groupinstall "$group"
328             done
329             # store current rpm list in /init-vserver.rpms in case we need to check the contents
330             $personality vserver $vserver exec rpm -aq > /vservers/$vserver/init-vserver.rpms
331             ;;
332         debootstrap)
333             $personality vserver $vserver exec apt-get update
334             # handle this one firt off to be sure 
335             $personality vserver $vserver exec apt-get install -y locales
336             # all in a single batch 
337             [ -n "$packages" ] $personality vserver $vserver exec apt-get install -y --ignore-missing $packages || :
338             # of course, on ubuntu apt-get --ignore-missing .. does not ignore missing packages !
339             # check it up a bit 
340             for package in $packages ; do 
341                 if ! $personality vserver $vserver exec dpkg -l $package >& /dev/null ; then
342                     # try to install it individually - so this is for ubuntu
343                     $personality vserver $vserver exec apt-get install -y $package || :
344                     # still not there ?
345                     if ! $personality vserver $vserver exec dpkg -l $package >& /dev/null ; then
346                         echo "WARNING - missing package on debian $package - ignored" 
347                     fi
348                 fi
349             done
350             ### xxx todo install groups with apt..
351             ;;
352         *)
353             echo "unknown pkg_method $pkg_method"
354             ;;
355     esac
356
357     return 0
358 }
359
360 function post_install () {
361     if [ -n "$VBUILD_MODE" ] ; then
362         post_install_vbuild "$@" 
363     else
364         post_install_myplc "$@"
365     fi
366     # setup localtime from the host
367     vserver=$1; shift 
368     cp /etc/localtime /vservers/$vserver/etc/localtime
369 }
370
371 function post_install_vbuild () {
372
373     set -x 
374     set -e 
375     trap failure ERR INT
376
377     vserver=$1; shift
378     personality=$1; shift
379
380 ### From myplc-devel-native.spec
381 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
382     cat << EOF | $personality vserver $VERBOSE $vserver exec bash -x
383     # set up /dev/loop* in vserver
384     for i in \$(seq 0 255) ; do
385         mknod -m 640 /dev/loop\$i b 7 \$i
386     done
387     
388     # create symlink for /dev/fd
389     [ ! -e "/dev/fd" ] && ln -s /proc/self/fd /dev/fd
390
391     # modify /etc/rpm/macros to not use /sbin/new-kernel-pkg
392     sed -i 's,/sbin/new-kernel-pkg:,,' /etc/rpm/macros
393     if [ -h "/sbin/new-kernel-pkg" ] ; then
394         filename=\$(readlink -f /sbin/new-kernel-pkg)
395         if [ "\$filename" == "/sbin/true" ] ; then
396                 echo "WARNING: /sbin/new-kernel-pkg symlinked to /sbin/true"
397                 echo "\tmost likely /etc/rpm/macros has /sbin/new-kernel-pkg declared in _netsharedpath."
398                 echo "\tPlease remove /sbin/new-kernel-pkg from _netsharedpath and reintall mkinitrd."
399                 exit 1
400         fi
401     fi
402     
403     # customize root's prompt
404     cat << PROFILE > /root/.profile
405 export PS1="[$vserver] \\w # "
406 PROFILE
407
408     uid=2000
409     gid=2000
410     
411     # add a "build" user to the system
412     builduser=\$(grep "^build:" /etc/passwd | wc -l)
413     if [ \$builduser -eq 0 ] ; then
414         groupadd -o -g \$gid build;
415         useradd -o -c 'Automated Build' -u \$uid -g \$gid -n -M -s /bin/bash build;
416     fi
417
418 # Allow build user to build certain RPMs as root
419     if [ -f /etc/sudoers ] ; then
420         buildsudo=\$(grep "^build.*ALL=(ALL).*NOPASSWD:.*ALL"  /etc/sudoers | wc -l)
421         if [ \$buildsudo -eq 0 ] ; then
422             echo "build   ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers
423         fi
424         sed -i 's,^Defaults.*requiretty,#Defaults requiretty,' /etc/sudoers
425     fi
426 #
427 EOF
428
429 }
430
431 function post_install_myplc  () {
432     set -x 
433     set -e 
434     trap failure ERR INT
435
436     vserver=$1; shift
437     personality=$1; shift
438
439 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
440     cat << EOF | $personality vserver $VERBOSE $vserver exec bash -x
441
442     # create /etc/sysconfig/network if missing
443     [ -f /etc/sysconfig/network ] || echo NETWORKING=yes > /etc/sysconfig/network
444
445     # create symlink for /dev/fd
446     [ ! -e "/dev/fd" ] && ln -s /proc/self/fd /dev/fd
447
448     # turn off regular crond, as plc invokes plc_crond
449     chkconfig crond off
450
451     # take care of loginuid in /etc/pam.d 
452     sed -i "s,#*\(.*loginuid.*\),#\1," /etc/pam.d/*
453
454     # customize root's prompt
455     cat << PROFILE > /root/.profile
456 export PS1="[$vserver] \\w # "
457 PROFILE
458
459 EOF
460 }
461
462 # parses ifconfig's output to find out ip address and mask
463 # will then be passed to vserver as e.g. --interface 138.96.250.126/255.255.0.0
464 # default is to use lo, that's enough for local mirrors
465 # use -i eth0 in case your fedora mirror is on a separate box on the network
466 function vserverIfconfig () {
467     ifname=$1; shift
468     local result="" 
469     line=$(ifconfig $ifname 2> /dev/null | grep 'inet addr')
470     if [ -n "$line" ] ; then
471         set $line
472         for word in "$@" ; do
473             addr=$(echo $word | sed -e s,[aA][dD][dD][rR]:,,)
474             mask=$(echo $word | sed -e s,[mM][aA][sS][kK]:,,)
475             if [ "$word" != "$addr" ] ; then
476                 result="${addr}"
477             elif [ "$word" != "$mask" ] ; then
478                 result="${result}/${mask}"
479             fi
480         done
481     fi
482     if [ -z "$result" ] ; then 
483         echo "vserverIfconfig failed to locate $ifname"
484         exit 1
485     else
486         echo $result
487     fi
488 }
489
490 function usage () {
491     set +x 
492     echo "Usage: $COMMAND_VBUILD [options] vserver-name [ -- vserver-options ]"
493     echo "Usage: $COMMAND_MYPLC [options] vserver-name repo-url [ -- vserver-options ]"
494     echo "Requirements: you need to have a vserver-compliant kernel,"
495     echo "   as well as the util-vserver RPM installed"
496     echo "Description:"
497     echo "   This command creates a fresh vserver instance, for building, or running, myplc"
498     echo "Supported options"
499     echo " -f fcdistro - for creating the root filesystem - defaults to $DEFAULT_FCDISTRO"
500     echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
501     echo " -p personality - defaults to $DEFAULT_PERSONALITY"
502     echo " -i ifname: determines ip and netmask attached to ifname, and passes it to the vserver"
503     echo " -r : set apps/init/mark to default so the vserver restart upon reboot"
504     echo " -v : verbose - passes -v to calls to vserver"
505     echo "vserver-options"
506     echo "  all args after the optional -- are passed to vserver <name> build <options>"
507     echo "  typical usage is e.g. --interface eth0:200.150.100.10/24"
508     echo "With $COMMAND_MYPLC you can give 'none' as the URL, in which case"
509     echo "   myplc.repo does not get created"
510     exit 1
511 }
512
513 ### parse args and 
514 function main () {
515
516     set -e
517     trap failure ERR INT
518
519     case "$COMMAND" in
520         $COMMAND_VBUILD)
521             VBUILD_MODE=true ;;
522         $COMMAND_MYPLC)
523             MYPLC_MODE=true;;
524         *)
525             usage ;;
526     esac
527
528     VERBOSE=
529     RESISTANT=""
530     IFNAME=""
531     VSERVER_OPTIONS=""
532
533     # the set of preinstalled packages - depends on vbuild or vtest
534     if [ -n "$VBUILD_MODE" ] ; then
535         PREINSTALLED=devel.pkgs
536     else
537         PREINSTALLED=vtest.pkgs
538     fi
539     while getopts "f:d:p:P:i:rv" opt ; do
540         case $opt in
541             f) fcdistro=$OPTARG;;
542             d) pldistro=$OPTARG;;
543             p) personality=$OPTARG;;
544             P) PREINSTALLED=$OPTARG;;
545             i) IFNAME=$OPTARG;;
546             r) RESISTANT="true";;
547             v) VERBOSE="-v" ;;
548             *) usage ;;
549         esac
550     done
551         
552     shift $(($OPTIND - 1))
553
554     # parse fixed arguments
555     [[ -z "$@" ]] && usage
556     vserver=$1 ; shift
557     if [ -n "$MYPLC_MODE" ] ; then
558         [[ -z "$@" ]] && usage
559         REPO_URL=$1 ; shift
560     fi
561
562     # parse vserver options
563     if [[ -n "$@" ]] ; then
564         if [ "$1" == "--" ] ; then
565             shift
566             VSERVER_OPTIONS="$@"
567         else
568             usage
569         fi
570     fi
571
572     # with new util-vserver, it is mandatory to provide an IP even for building
573     if [ -n "$VBUILD_MODE" ] ; then
574         [ -z "$IFNAME" ] && IFNAME=$DEFAULT_IFNAME
575     fi
576     if [ -n "$IFNAME" ] ; then
577         localip=$(vserverIfconfig $IFNAME)
578         VSERVER_OPTIONS="$VSERVER_OPTIONS --interface $localip"
579     fi
580
581     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
582     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
583     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
584
585     setup_vserver $vserver $fcdistro $pldistro $personality 
586     devel_or_vtest_tools $vserver $fcdistro $pldistro $personality
587     post_install $vserver $personality
588
589     # Start Vserver automatically on boot
590     [ -n "$RESISTANt" ] && echo "default" > /etc/vservers/$vserver/apps/init/mark
591
592     echo $COMMAND Done
593 }
594
595 main "$@"