renamed native-shell.pkgs into vtest.pkgs
[build.git] / vbuild-init-vserver.sh
index 5bf728a..d1b44b5 100755 (executable)
@@ -4,9 +4,13 @@
 COMMAND=$(basename $0)
 DIRNAME=$(dirname $0)
 
-# lst parsing utilities
+# pkgs parsing utilities
 PATH=$(dirname $0):$PATH . build.common
 
+DEFAULT_FCDISTRO=f7
+DEFAULT_PLDISTRO=planetlab
+DEFAULT_PERSONALITY=linux32
+
 function failure () {
     echo "$COMMAND : Bailing out"
     exit 1
@@ -51,7 +55,7 @@ function configure_yum_in_vserver () {
        else
             # exclude kernel from fedora repos 
            for i in /vservers/$vserver/etc/yum.repos.d/* ; do
-               echo "exclude=kernel* ulogd iptables" >> $i
+               [ -f $i ] && echo "exclude=kernel* ulogd iptables" >> $i
            done
            # the build repo is not signed at this stage
            cat > /vservers/$vserver/etc/yum.repos.d/myplc.repo <<EOF
@@ -76,26 +80,33 @@ function setup_vserver () {
     fcdistro=$1; shift
     personality=$1; shift
 
-    CLONED=0
-    # create the new vserver
-    if [ ! -d /etc/vservers/$vserver ] ; then
-       # check if we can create the vserver from a reference vserver
-       #if [ -d /vservers/${fcdistro}_reference ] ; then
-       if [ 0 -ne 0 -a -n "$VBUILD_MODE" ] ; then
-           $personality vserver $VERBOSE $vserver build -m clone -- --source /vservers/${fcdistro}_reference
-           CLONED=1
-       else
-           $personality vserver $VERBOSE $vserver build -m yum -- -d $fcdistro
-        fi
+    if [ -d /vservers/$vserver ] ; then
+       echo "$COMMAND : vserver $vserver seems to exist - bailing out"
+       exit 1
     fi
 
+    # create it
+    # try to work around the vserver issue:
+    # vc_ctx_migrate: No such process
+    # rpm-fake.so: failed to initialize communication with resolver
+    for i in 1 2 3 4 5 ; do
+       $personality vserver $VERBOSE $vserver build $VSERVER_OPTIONS -m yum -- -d $fcdistro && break || true
+       echo "Waiting for one minute"
+       sleep 60
+    done
+    # check success
+    [ -d /vservers/$vserver ] 
+
     if [ ! -z "$personality" ] ; then
-       l32=$(grep $personality /etc/vservers/$vserver/personality | wc -l)
-       [ $l32 -eq 0 ] && echo $personality >> /etc/vservers/$vserver/personality
+       registered_personality=$(grep $personality /etc/vservers/$vserver/personality | wc -l)
+       if [ $registered_personality -eq 0 -a "$personality" != "linux64" ] ; then
+           echo $personality >> /etc/vservers/$vserver/personality
+       fi
     fi
 
     if [ -n "$VBUILD_MODE" ] ; then 
-    # set up appropriate vserver capabilities to mount, mknod and IPC_LOCK
+       ### capabilities required for a build vserver
+        # set up appropriate vserver capabilities to mount, mknod and IPC_LOCK
        BCAPFILE=/etc/vservers/$vserver/bcapabilities
        touch $BCAPFILE
        cap=$(grep ^CAP_SYS_ADMIN /etc/vservers/$vserver/bcapabilities | wc -l)
@@ -104,15 +115,19 @@ function setup_vserver () {
        [ $cap -eq 0 ] && echo 'CAP_MKNOD' >> /etc/vservers/$vserver/bcapabilities
        cap=$(grep ^CAP_IPC_LOCK /etc/vservers/$vserver/bcapabilities | wc -l)
        [ $cap -eq 0 ] && echo 'CAP_IPC_LOCK' >> /etc/vservers/$vserver/bcapabilities
+    else
+       ### capabilities required for a myplc vserver
+       # for /etc/plc.d/gpg - need to init /dev/random
+       cap=$(grep ^CAP_MKNOD /etc/vservers/$vserver/bcapabilities | wc -l)
+       [ $cap -eq 0 ] && echo 'CAP_MKNOD' >> /etc/vservers/$vserver/bcapabilities
     fi
 
+    $personality vyum $vserver -- -y install yum
+    $personality vserver $VERBOSE $vserver pkgmgmt internalize
+
     # start the vserver so we can do the following operations
-    if [ $CLONED -eq 0 ] ; then
-       $personality vyum $vserver -- -y install yum
-       $personality vserver $VERBOSE $vserver pkgmgmt internalize
-    fi
     $personality vserver $VERBOSE $vserver start
-    $personality vserver $VERBOSE $vserver exec rm -f /var/lib/rpm/__db*
+    $personality vserver $VERBOSE $vserver exec sh -c "rm -f /var/lib/rpm/__db*"
     $personality vserver $VERBOSE $vserver exec rpm --rebuilddb
 
     # minimal config in the vserver for yum to work
@@ -133,25 +148,17 @@ function devel_tools () {
     pldistro=$1; shift
     personality=$1; shift
 
-    # check for .lst file based on pldistro
+    # check for .pkgs file based on pldistro
     if [ -n "$VBUILD_MODE" ] ; then
-       lst=${pldistro}-devel.lst
+       pkgsname=devel.pkgs
     else
-       lst=${pldistro}-shell.lst
-    fi
-    if [ -f $lst ] ; then
-       echo "$COMMAND: Using $lst"
-    elif [ -f $DIRNAME/$lst ] ; then
-       lst=$DIRNAME/$lst
-       echo "$COMMAND: Using $lst"
-    else
-       echo "$COMMAND : Cannot locate $lst - exiting"
-       usage
+       pkgsname=vtest.pkgs
     fi
+    pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $pkgsname)
 
     # install individual packages, then groups
-    packages=$(pl_getPackages2 ${fcdistro} $lst)
-    groups=$(pl_getGroups2 ${fcdistro} $lst)
+    packages=$(pl_getPackages ${fcdistro} $pkgsfile)
+    groups=$(pl_getGroups ${fcdistro} $pkgsfile)
 
     [ -n "$packages" ] && $personality vserver $vserver exec yum -y install $packages
     [ -n "$groups" ] && $personality vserver $vserver exec yum -y groupinstall $groups
@@ -246,32 +253,23 @@ EOF
 }
 
 COMMAND_VBUILD="vbuild-init-vserver.sh"
-COMMAND_MYPLC="myplc-init-vserver.sh"
+COMMAND_MYPLC="vtest-init-vserver.sh"
 function usage () {
     set +x 
-    echo "Usage: $COMMAND_VBUILD [-s|s|p] [-v] vserver-name distribution pldistro [personality]"
-    echo "Usage: $COMMAND_MYPLC [-s|s|p] [-v] vserver-name distribution pldistro repo-url [personality]"
+    echo "Usage: $COMMAND_VBUILD [options] vserver-name [ -- vserver-options ]"
+    echo "Usage: $COMMAND_MYPLC [options] vserver-name repo-url [ -- vserver-options ]"
     echo "Requirements: you need to have a vserver-compliant kernel,"
-    echo "  as well as the util-vserver RPM installed"
+    echo "   as well as the util-vserver RPM installed"
     echo "Description:"
-    echo "  This command creates a fresh vserver instance"
-    echo "  . vserver-name : the vserver's name"
-    echo "  . distribution : for creating the root filesystem, e.g. fc6"
-    echo "  . pldistro: e.g. onelab"
-    echo "  . repo-url: for myplc vserver, used to create a yum repository"
-    echo "  . personality: last, optional, argument defaults to linux32"
-    echo "This is done in three steps"
-    echo " (*) setup phase : vserver creation, yum internalization and config (from /etc/vservers)"
-    echo " (*) tools install the tools required for building are installed"
-    echo "     based on the folowing file for the actual set of packages and groups"
-    echo "     vbuild mode :  <pldistro>-devel.lst"
-    echo "     myplc mode :   <pldistro>-shell.lst"
-    echo " (*) post-install : various tunings required, as well as create a build user (vbuild only)"
-    echo "Options:"
-    echo " -s : skips the setup phase"
-    echo " -t : skips the tools phase"
-    echo " -p : skips the post-install"
-    echo " -v : passes -v to calls to vserver"
+    echo "   This command creates a fresh vserver instance, for building, or running, myplc"
+    echo "Supported options"
+    echo " -f fcdistro - for creating the root filesystem - defaults to $DEFAULT_FCDISTRO"
+    echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
+    echo " -p personality - defaults to $DEFAULT_PERSONALITY"
+    echo " -v : verbose - passes -v to calls to vserver"
+    echo "vserver-options"
+    echo "  all args after the optional -- are passed to vserver <name> build <options>"
+    echo "  typical usage is e.g. --interface eth0:200.150.100.10/24"
     exit 1
 }
 
@@ -290,42 +288,44 @@ function main () {
            usage ;;
     esac
 
-    DO_SETUP=true
-    DO_TOOLS=true
-    DO_POST=true
     VERBOSE=
-    while getopts "stpvh" opt ; do
+    while getopts "f:d:p:v" opt ; do
        case $opt in
-           s) DO_SETUP="" ;;
-           t) DO_TOOLS="" ;;
-           p) DO_POST="" ;;
+           f) fcdistro=$OPTARG;;
+           d) pldistro=$OPTARG;;
+           p) personality=$OPTARG;;
            v) VERBOSE="-v" ;;
-           h|*) usage ;;
+           *) usage ;;
        esac
     done
        
     shift $(($OPTIND - 1))
-    
+
+    # parse fixed arguments
     [[ -z "$@" ]] && usage
     vserver=$1 ; shift
-    [[ -z "$@" ]] && usage
-    fcdistro=$1 ; shift
-    [[ -z "$@" ]] && usage
-    pldistro=$1 ; shift
     if [ -n "$MYPLC_MODE" ] ; then
        [[ -z "$@" ]] && usage
        REPO_URL=$1 ; shift
     fi
-    if [[ -z "$@" ]] ; then
-       personality=linux32
-    else
-       personality=$1; shift
+
+    # parse vserver options
+    if [[ -n "$@" ]] ; then
+       if [ "$1" == "--" ] ; then
+           shift
+           VSERVER_OPTIONS="$@"
+       else
+           usage
+       fi
     fi
-    [[ -n "$@" ]] && usage
 
-    [ -n "$DO_SETUP" ] && setup_vserver $vserver $fcdistro $personality 
-    [ -n "$DO_TOOLS" ] && devel_tools $vserver $fcdistro $pldistro $personality
-    [ -n "$DO_POST" ] && post_install $vserver $personality
+    [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
+    [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
+    [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
+
+    setup_vserver $vserver $fcdistro $personality 
+    devel_tools $vserver $fcdistro $pldistro $personality
+    post_install $vserver $personality
 
 }