Setting tag fprobe-ulog-1.1.4-3
[build.git] / vbuild-init-vserver.sh
index 3f69cd9..301b838 100755 (executable)
@@ -10,9 +10,9 @@ DIRNAME=$(dirname $0)
 PATH=$(dirname $0):$PATH export PATH
 . build.common
 
-DEFAULT_FCDISTRO=f8
+DEFAULT_FCDISTRO=f14
 DEFAULT_PLDISTRO=planetlab
-DEFAULT_PERSONALITY=linux32
+DEFAULT_PERSONALITY=linux64
 DEFAULT_IFNAME=eth0
 
 COMMAND_VBUILD="vbuild-init-vserver.sh"
@@ -33,6 +33,7 @@ function configure_yum_in_vserver () {
 
     vserver=$1; shift
     fcdistro=$1; shift
+    pldistro=$1; shift
 
     templates=/etc/vservers/.distributions/${fcdistro}
     if [ -f ${templates}/yum/yum.conf ] ; then
@@ -63,8 +64,9 @@ function configure_yum_in_vserver () {
            echo "WARNING : cannot create myplc repo"
        else
             # exclude kernel from fedora repos 
+           yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
            for repo in /vservers/$vserver/etc/yum.repos.d/* ; do
-               [ -f $repo ] && yumconf_exclude $repo "exclude=$pl_KEXCLUDES
+               [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude
            done
            # the build repo is not signed at this stage
            cat > /vservers/$vserver/etc/yum.repos.d/myplc.repo <<EOF
@@ -83,11 +85,25 @@ function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
        f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
-       lenny|etch) echo debootstrap ;;
+       squeeze|wheezy|oneiric|precise|quantal|raring) echo debootstrap ;;
        *) echo Unknown distro $fcdistro ;;
     esac 
 }
 
+# need to specify the right mirror for debian variants like ubuntu and the like
+function debian_mirror () {
+    fcdistro=$1; shift
+    case $fcdistro in
+       squeeze|wheezy) 
+           echo http://ftp2.fr.debian.org/debian/ ;;
+       oneiric|precise|quantal|raring) 
+           echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
+       *) echo unknown distro $fcdistro; exit 1;;
+    esac
+}
+
+
+
 # return arch from debian distro and personality
 function canonical_arch () {
     personality=$1; shift
@@ -119,6 +135,7 @@ function setup_vserver () {
 
     vserver=$1; shift
     fcdistro=$1; shift
+    pldistro=$1; shift
     personality=$1; shift
 
     # check that this is a new one - see above
@@ -134,10 +151,11 @@ function setup_vserver () {
            ;;
        debootstrap)
            arch=$(canonical_arch $personality $fcdistro)
-           build_options="-m debootstrap -- -d $fcdistro -- --arch $arch"
+           debmirror=$(debian_mirror $fcdistro)
+           build_options="-m debootstrap -- -d $fcdistro -m $debmirror -- --arch $arch"
            ;;
        *)
-           build_options="something wrong" ;;
+           build_options="undefined-package_method" ;;
     esac
 
     # create it
@@ -171,14 +189,14 @@ function setup_vserver () {
        grep -q ^CAP_SYS_ADMIN $BCAPFILE || echo CAP_SYS_ADMIN >> $BCAPFILE
        grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
        grep -q ^CAP_IPC_LOCK $BCAPFILE || echo CAP_IPC_LOCK >> $BCAPFILE
-       # useful for f15 guests that use set_cap_file 
+       # useful for f16 guests that use set_cap_file 
        grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
     else
        ### capabilities required for a myplc vserver
        # for /etc/plc.d/gpg - need to init /dev/random
        grep -q ^CAP_MKNOD $BCAPFILE || echo CAP_MKNOD >> $BCAPFILE
        grep -q ^CAP_NET_BIND_SERVICE $BCAPFILE || echo CAP_NET_BIND_SERVICE >> $BCAPFILE
-       # useful for f15 guests that use set_cap_file 
+       # useful for f16 guests that use set_cap_file 
        grep -q ^CAP_SETFCAP $BCAPFILE || echo CAP_SETFCAP >> $BCAPFILE
     fi
 
@@ -192,8 +210,8 @@ function setup_vserver () {
     # Enable cgroup
     mkdir /etc/vservers/$vserver/cgroup
 
-    # Set the init style of your vserver to plain for f15 and higher
-    # not working with f15 anyways, systemd requires 2.6.36 to work
+    # Set the init style of your vserver to plain for f16 and higher
+    # not working with f16 anyways, systemd requires 2.6.36 to work
     case $fcdistro in 
        f1[5-9]) echo plain > /etc/vservers/$vserver/apps/init/style ;;
     esac
@@ -207,11 +225,30 @@ function setup_vserver () {
            sleep 3
        done
     fi
+    
+    # turns out that with wheezy at least, at this point we're getting 
+    # /vservers/<vs>/var/run -> /run
+    # /vservers/<vs>/var/lock -> /run/lock
+    # trying to fix this with relative links does not appear to work fine
+    # when trying to vserver start we're then getting
+    # + exec /usr/sbin/vspace --mount --fs --new -- /usr/sbin/vserver ----nonamespace debuild09 start
+    # fakerunlevel: open("/var/run/utmp"): No such file or directory
+    # so instead we bluntly create empty dirs and hope for the best
+#    if [ "$pkg_method" = "debootstrap" ] ; then
+       [ -h /vservers/$vserver/var/run ] && [ ! -d /vservers/$vserver/var/run ] && \
+#          { rm -f /vservers/$vserver/var/run ; ln -s ../run /vservers/$vserver/var/run ; }
+           { rm -f /vservers/$vserver/var/run ; mkdir /vservers/$vserver/var/run ; }
+       [ -h /vservers/$vserver/var/lock ] && [ ! -d /vservers/$vserver/var/lock ] && \
+#          { rm -f /vservers/$vserver/var/lock ; ln -s ../run/lock /vservers/$vserver/var/lock ; }
+           { rm -f /vservers/$vserver/var/lock ; mkdir /vservers/$vserver/var/lock ; }
+#    fi
 
     # start the vserver so we can do the following operations
     # redirect out/err to protect against the vserver's init sequence getting stalled 
     # mostly used for f10 vservers created remotely through ssh
-    $personality vserver $VERBOSE $vserver start >& /dev/null
+    # with ubuntu/raring, somehow this fails, so ignore retcod, 
+    # as subsequent vserver exec will fail anyway
+    $personality vserver $VERBOSE $vserver start >& /dev/null || :
 
     if [ "$pkg_method" == "yum" ] ; then
        $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
@@ -239,6 +276,10 @@ function setup_vserver () {
 
        # try the simple way, if that fails try to cross fix the rpm hashes
        $personality vserver $VERBOSE $vserver exec rpm --rebuilddb || translate_rpm_hashes $personality $vserver
+      
+    elif [ "$pkg_method" == "debootstrap" ] ; then
+       # just check the vm is running
+       $personality vserver $VERBOSE $vserver exec arch 
     fi
 
     # check if the vserver kernel is using VSERVER_DEVICE (vdevmap) support
@@ -251,10 +292,11 @@ function setup_vserver () {
     fi
            
     # minimal config in the vserver for yum to work
-    [ "$pkg_method" = "yum" ] && configure_yum_in_vserver $vserver $fcdistro 
+    [ "$pkg_method" = "yum" ] && configure_yum_in_vserver $vserver $fcdistro $pldistro
 
     # set up resolv.conf
     cp /etc/resolv.conf /vservers/$vserver/etc/resolv.conf
+    cp /etc/resolv.conf /vservers/$vserver/etc/resolv.conf.preserve
     # and /etc/hosts for at least localhost
     [ -f /vservers/$vserver/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > /vservers/$vserver/etc/hosts
 
@@ -273,13 +315,7 @@ function devel_or_vtest_tools () {
 
     pkg_method=$(package_method $fcdistro)
 
-    # check for .pkgs file based on pldistro
-    if [ -n "$VBUILD_MODE" ] ; then
-       pkgsname=devel.pkgs
-    else
-       pkgsname=vtest.pkgs
-    fi
-    pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $pkgsname)
+    pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
 
     ### install individual packages, then groups
     # get target arch - use uname -i here (we want either x86_64 or i386)
@@ -301,9 +337,38 @@ function devel_or_vtest_tools () {
            $personality vserver $vserver exec rpm -aq > /vservers/$vserver/init-vserver.rpms
            ;;
        debootstrap)
+           # for ubuntu
+           if grep -iq ubuntu /vservers/$vserver/etc/lsb-release 2> /dev/null; then
+               # on ubuntu, at this point we end up with a single feed in /etc/apt/sources.list
+               # we need at least to add the 'universe' feed for python-rpm
+               ( cd /vservers/$vserver/etc/apt ; head -1 sources.list | sed -e s,main,universe, > sources.list.d/universe.list )
+               # also adding a link to updates sounds about right
+               ( cd /vservers/$vserver/etc/apt ; head -1 sources.list | sed -e 's, main,-updates main,' > sources.list.d/updates.list )
+           fi
            $personality vserver $vserver exec apt-get update
+           # ignore result because that one failed on precise
+sc         $personality vserver $vserver exec apt-get -y upgrade ||:
+           # handle this one firt off to be sure; mostly cosmetic but avoid a huge amount of warnings
+           $personality vserver $vserver exec apt-get install -y locales
+           $personality vserver $vserver exec locale-gen en_US.UTF-8
+           # install required packages
+           # all in a single batch 
+           [ -n "$packages" ] && $personality vserver $vserver exec apt-get install -y --ignore-missing $packages || :
+           # of course, on ubuntu apt-get --ignore-missing .. does not ignore missing packages !
+           # check it up a bit 
            for package in $packages ; do 
-               $personality vserver $vserver exec apt-get install -y $package 
+               if $personality vserver $vserver exec dpkg -l $package >& /dev/null ; then
+                   echo "==========(debian) package $package OK (1)"
+               else
+                   # try to install it individually - so this is for ubuntu
+                   $personality vserver $vserver exec apt-get install -y $package || :
+                   # still not there ?
+                   if $personality vserver $vserver exec dpkg -l $package >& /dev/null ; then
+                       echo "==========(debian) package $package OK (2)"
+                   else
+                       echo "==========(debian) package $package MISSING - ignored" 
+                   fi
+               fi
            done
            ### xxx todo install groups with apt..
            ;;
@@ -487,11 +552,19 @@ function main () {
     RESISTANT=""
     IFNAME=""
     VSERVER_OPTIONS=""
-    while getopts "f:d:p:i:rv" opt ; do
+
+    # the set of preinstalled packages - depends on vbuild or vtest
+    if [ -n "$VBUILD_MODE" ] ; then
+       PREINSTALLED=devel.pkgs
+    else
+       PREINSTALLED=vtest.pkgs
+    fi
+    while getopts "f:d:p:P:i:rv" opt ; do
        case $opt in
            f) fcdistro=$OPTARG;;
            d) pldistro=$OPTARG;;
            p) personality=$OPTARG;;
+           P) PREINSTALLED=$OPTARG;;
            i) IFNAME=$OPTARG;;
            r) RESISTANT="true";;
            v) VERBOSE="-v" ;;
@@ -532,7 +605,7 @@ function main () {
     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
 
-    setup_vserver $vserver $fcdistro $personality 
+    setup_vserver $vserver $fcdistro $pldistro $personality 
     devel_or_vtest_tools $vserver $fcdistro $pldistro $personality
     post_install $vserver $personality