Update master of plcapi.
[build.git] / vbuild-init-vserver.sh
index fa1c483..7aed817 100755 (executable)
@@ -1,6 +1,5 @@
 #!/bin/bash
 # -*-shell-*-
-# $Id$
 
 #shopt -s huponexit
 
@@ -8,7 +7,8 @@ COMMAND=$(basename $0)
 DIRNAME=$(dirname $0)
 
 # pkgs parsing utilities
-PATH=$(dirname $0):$PATH . build.common
+PATH=$(dirname $0):$PATH export PATH
+. build.common
 
 DEFAULT_FCDISTRO=f8
 DEFAULT_PLDISTRO=planetlab
@@ -56,7 +56,9 @@ function configure_yum_in_vserver () {
        echo "Cannot initialize yum.repos.d in $vserver"
     fi
 
-    if [ -n "$MYPLC_MODE" ] ; then
+    # for using vtest-init-vserver.sh as a general-purpose vserver creation wrapper
+    # just mention 'none' as the repo url
+    if [ -n "$MYPLC_MODE" -a "$REPO_URL" != "none" ] ; then
        if [ ! -d /vservers/$vserver/etc/yum.repos.d ] ; then
            echo "WARNING : cannot create myplc repo"
        else
@@ -80,7 +82,7 @@ EOF
 function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
-       f[0-9]*|centos[0-9]*) echo yum ;;
+       f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
        lenny|etch) echo debootstrap ;;
        *) echo Unknown distro $fcdistro ;;
     esac 
@@ -100,6 +102,15 @@ function canonical_arch () {
     esac
 }
 
+# the new test framework creates /timestamp in /vservers/<name> *before* populating it
+function almost_empty () { 
+    dir="$1"; shift ; 
+    # non existing is fine
+    [ ! -d $dir ] && return 0; 
+    # need to have at most one file
+    count=$(cd $dir; ls | wc -l); [ $count -le 1 ]; 
+}
+
 function setup_vserver () {
 
     set -x
@@ -110,10 +121,11 @@ function setup_vserver () {
     fcdistro=$1; shift
     personality=$1; shift
 
-    if [ -d /vservers/$vserver ] ; then
+    # check that this is a new one - see above
+    almost_empty /vservers/$vserver || {       
        echo "$COMMAND : vserver $vserver seems to exist - bailing out"
        exit 1
-    fi
+       }
 
     pkg_method=$(package_method $fcdistro)
     case $pkg_method in
@@ -137,8 +149,8 @@ function setup_vserver () {
        echo "* ${i}-th attempt to 'vserver build' failed - waiting for 3 seconds"
        sleep 3
     done
-    # check success
-    [ -d /vservers/$vserver ] 
+    # check success - not enough to check for the directory, let's assume /etc/ in image
+    [ -d /vservers/$vserver/etc ] 
 
     if [ ! -z "$personality" ] ; then
        if [ -f "/etc/vservers/$vserver/personality" ] ; then
@@ -151,26 +163,41 @@ function setup_vserver () {
        fi
     fi
 
+    BCAPFILE=/etc/vservers/$vserver/bcapabilities
+    touch $BCAPFILE
     if [ -n "$VBUILD_MODE" ] ; then 
        ### capabilities required for a build vserver
         # set up appropriate vserver capabilities to mount, mknod and IPC_LOCK
-       BCAPFILE=/etc/vservers/$vserver/bcapabilities
-       touch $BCAPFILE
-       cap=$(grep ^CAP_SYS_ADMIN /etc/vservers/$vserver/bcapabilities | wc -l)
-       [ $cap -eq 0 ] && echo 'CAP_SYS_ADMIN' >> /etc/vservers/$vserver/bcapabilities
-       cap=$(grep ^CAP_MKNOD /etc/vservers/$vserver/bcapabilities | wc -l)
-       [ $cap -eq 0 ] && echo 'CAP_MKNOD' >> /etc/vservers/$vserver/bcapabilities
-       cap=$(grep ^CAP_IPC_LOCK /etc/vservers/$vserver/bcapabilities | wc -l)
-       [ $cap -eq 0 ] && echo 'CAP_IPC_LOCK' >> /etc/vservers/$vserver/bcapabilities
+       grep -q ^CAP_SYS_ADMIN $BCAPFILE || echo CAP_SYS_ADMIN >> $BCAPFILE
+       grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
+       grep -q ^CAP_IPC_LOCK $BCAPFILE || echo CAP_IPC_LOCK >> $BCAPFILE
+       # useful for f16 guests that use set_cap_file 
+       grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
     else
        ### capabilities required for a myplc vserver
        # for /etc/plc.d/gpg - need to init /dev/random
-       cap=$(grep ^CAP_MKNOD /etc/vservers/$vserver/bcapabilities | wc -l)
-       [ $cap -eq 0 ] && echo 'CAP_MKNOD' >> /etc/vservers/$vserver/bcapabilities
-       cap=$(grep ^CAP_NET_BIND_SERVICE /etc/vservers/$vserver/bcapabilities | wc -l)
-       [ $cap -eq 0 ] && echo 'CAP_NET_BIND_SERVICE' >> /etc/vservers/$vserver/bcapabilities
+       grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
+       grep -q ^CAP_NET_BIND_SERVICE $BCAPFILE || echo CAP_NET_BIND_SERVICE >> $BCAPFILE
+       # useful for f16 guests that use set_cap_file 
+       grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
     fi
 
+    # Set persistent for the network context
+    # Thierry: Daniel's kernels come with single_ip turned off by default, let's make this explicit 
+    echo "persistent,lback_allow,~single_ip" > /etc/vservers/$vserver/nflags
+
+    # Set cflags
+    echo -e "persistent\n~info_init" > /etc/vservers/$vserver/cflags
+
+    # Enable cgroup
+    mkdir /etc/vservers/$vserver/cgroup
+
+    # Set the init style of your vserver to plain for f16 and higher
+    # not working with f16 anyways, systemd requires 2.6.36 to work
+    case $fcdistro in 
+       f1[5-9]) echo plain > /etc/vservers/$vserver/apps/init/style ;;
+    esac
+
     if [ "$pkg_method" = "yum" ] ; then
        $personality vyum $vserver -- -y install yum
         # ditto
@@ -185,8 +212,34 @@ function setup_vserver () {
     # redirect out/err to protect against the vserver's init sequence getting stalled 
     # mostly used for f10 vservers created remotely through ssh
     $personality vserver $VERBOSE $vserver start >& /dev/null
-    [ "$pkg_method" = "yum" ] && $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
-    [ "$pkg_method" = "yum" ] && $personality vserver $VERBOSE $vserver exec rpm --rebuilddb
+
+    if [ "$pkg_method" == "yum" ] ; then
+       $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
+
+       # run the host rpmdb_dump and restore with the guest rpmdb_load
+       function translate_rpm_hashes () {
+           set -x
+           set -e
+           local personality="$1"; shift
+           local vserver="$1"; shift
+           # need to have utilities installed
+           type -p file
+           type -p awk
+           type -p cut
+           guest_dir=/var/lib/rpm
+           host_dir=/vservers/$vserver/$guest_dir
+           files=$(cd $host_dir ; file * | grep Hash | cut -d: -f 1)
+           for file in $files; do
+               (cd $host_dir && mv $file ${file}-foreign)
+               /usr/lib/rpm/rpmdb_dump $host_dir/${file}-foreign | $personality vserver $VERBOSE $vserver exec /usr/lib/rpm/rpmdb_load $guest_dir/$file
+           done
+           $personality vserver $VERBOSE $vserver exec rpm --rebuilddb
+           return 0
+       }
+
+       # try the simple way, if that fails try to cross fix the rpm hashes
+       $personality vserver $VERBOSE $vserver exec rpm --rebuilddb || translate_rpm_hashes $personality $vserver
+    fi
 
     # check if the vserver kernel is using VSERVER_DEVICE (vdevmap) support
     need_vdevmap=$(grep "CONFIG_VSERVER_DEVICE=y" /boot/config-$(uname -r) | wc -l)
@@ -237,17 +290,28 @@ function devel_or_vtest_tools () {
     packages=$(pl_getPackages -a $vserver_arch $fcdistro $pldistro $pkgsfile)
     groups=$(pl_getGroups -a $vserver_arch $fcdistro $pldistro $pkgsfile)
 
-    [ "$pkg_method" = yum ] && [ -n "$packages" ] && $personality vserver $vserver exec yum -y install $packages
-    [ "$pkg_method" = yum ] && for group_plus in $groups; do
-       group=$(echo $group_plus | sed -e "s,+++, ,g")
-        $personality vserver $vserver exec yum -y groupinstall "$group"
-    done
+    case "$pkg_method" in
+       yum)
+           [ -n "$packages" ] && $personality vserver $vserver exec yum -y install $packages
+           for group_plus in $groups; do
+               group=$(echo $group_plus | sed -e "s,+++, ,g")
+               $personality vserver $vserver exec yum -y groupinstall "$group"
+           done
+           # store current rpm list in /init-vserver.rpms in case we need to check the contents
+           $personality vserver $vserver exec rpm -aq > /vservers/$vserver/init-vserver.rpms
+           ;;
+       debootstrap)
+           $personality vserver $vserver exec apt-get update
+           for package in $packages ; do 
+               $personality vserver $vserver exec apt-get install -y $package 
+           done
+           ### xxx todo install groups with apt..
+           ;;
+       *)
+           echo "unknown pkg_method $pkg_method"
+           ;;
+    esac
 
-    [ "$pkg_method" = debootstrap ] && $personality vserver $vserver exec apt-get update
-    [ "$pkg_method" = debootstrap ] && for package in $packages ; do 
-       $personality vserver $vserver exec apt-get install -y $package 
-    done
-    
     return 0
 }
 
@@ -394,10 +458,13 @@ function usage () {
     echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
     echo " -p personality - defaults to $DEFAULT_PERSONALITY"
     echo " -i ifname: determines ip and netmask attached to ifname, and passes it to the vserver"
+    echo " -r : set apps/init/mark to default so the vserver restart upon reboot"
     echo " -v : verbose - passes -v to calls to vserver"
     echo "vserver-options"
     echo "  all args after the optional -- are passed to vserver <name> build <options>"
     echo "  typical usage is e.g. --interface eth0:200.150.100.10/24"
+    echo "With $COMMAND_MYPLC you can give 'none' as the URL, in which case"
+    echo "   myplc.repo does not get created"
     exit 1
 }
 
@@ -417,14 +484,16 @@ function main () {
     esac
 
     VERBOSE=
+    RESISTANT=""
     IFNAME=""
     VSERVER_OPTIONS=""
-    while getopts "f:d:p:i:v" opt ; do
+    while getopts "f:d:p:i:rv" opt ; do
        case $opt in
            f) fcdistro=$OPTARG;;
            d) pldistro=$OPTARG;;
            p) personality=$OPTARG;;
            i) IFNAME=$OPTARG;;
+           r) RESISTANT="true";;
            v) VERBOSE="-v" ;;
            *) usage ;;
        esac
@@ -467,6 +536,10 @@ function main () {
     devel_or_vtest_tools $vserver $fcdistro $pldistro $personality
     post_install $vserver $personality
 
+    # Start Vserver automatically on boot
+    [ -n "$RESISTANt" ] && echo "default" > /etc/vservers/$vserver/apps/init/mark
+
+    echo $COMMAND Done
 }
 
 main "$@"