another big fix to fedora-mirror for f29
[build.git] / lbuild-initvm.sh
index 5f51503..ccbb7b1 100755 (executable)
@@ -13,16 +13,27 @@ BUILD_DIR=$(pwd)
 # pkgs parsing utilities + lbuild-bridge.sh
 export PATH=$(dirname $0):$PATH
 
-# old guests have e.g. mount in /bin but this is no longer part of 
+# old guests have e.g. mount in /bin but this is no longer part of
 # the standard PATH in recent hosts after usrmove, so let's keep it simple
 export PATH=$PATH:/bin:/sbin
 
 . build.common
 
-DEFAULT_FCDISTRO=f20
+# xxx fixme : we pass $lxc around in functions,
+# but in fact then we use lxc_root which is a global..
+# it works, but this really is poor practice
+# we should have an lxc_root function instead
+function lxcroot () {
+    lxc=$1; shift
+    echo /vservers/$lxc
+}
+
+# XXX fixme : when creating a 32bits VM we need to call linux32 as appropriate...s
+
+DEFAULT_FCDISTRO=f29
 DEFAULT_PLDISTRO=lxc
 DEFAULT_PERSONALITY=linux64
-DEFAULT_MEMORY=512
+DEFAULT_MEMORY=3072
 
 ##########
 # constant
@@ -32,6 +43,8 @@ PUBLIC_BRIDGE=br0
 VIF_GUEST=eth0
 
 ##########
+FEDORA_MIRROR_BASE="http://mirror.onelab.eu/fedora/"
+FEDORA_MIRROR_KEYS="http://mirror.onelab.eu/keys/"
 FEDORA_PREINSTALLED="yum initscripts passwd rsyslog vim-minimal dhclient chkconfig rootfiles policycoreutils openssh-server openssh-clients"
 DEBIAN_PREINSTALLED="openssh-server openssh-client"
 
@@ -47,7 +60,7 @@ function masklen_to_netmask () {
     python <<EOF
 import sys
 masklen=$masklen
-if not (masklen>=1 and masklen<=32): 
+if not (masklen>=1 and masklen<=32):
   print "Wrong masklen",masklen
   exit(1)
 result=[]
@@ -59,7 +72,7 @@ for i in range(4):
        result.append(masklen)
        masklen=0
 print ".".join([ str(256-2**(8-i)) for i in result ])
-  
+
 EOF
 }
 
@@ -68,10 +81,13 @@ EOF
 function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
-       f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
-       squeeze|wheezy|jessie|oneiric|precise|quantal|raring|saucy) echo debootstrap ;;
-       *) echo Unknown distro $fcdistro ;;
-    esac 
+       f[0-9]*|centos[0-9]*|sl[0-9]*)
+           echo yum ;;
+       wheezy|jessie|precise|trusty|utopic|vivid|wily|xenial)
+           echo debootstrap ;;
+       *)
+           echo Unknown distro $fcdistro ;;
+    esac
 }
 
 # return arch from debian distro and personality
@@ -89,12 +105,12 @@ function canonical_arch () {
 }
 
 # the new test framework creates /timestamp in /vservers/<name> *before* populating it
-function almost_empty () { 
-    dir="$1"; shift ; 
+function almost_empty () {
+    dir="$1"; shift ;
     # non existing is fine
-    [ ! -d $dir ] && return 0; 
+    [ ! -d $dir ] && return 0;
     # need to have at most one file
-    count=$(cd $dir; ls | wc -l); [ $count -le 1 ]; 
+    count=$(cd $dir; ls | wc -l); [ $count -le 1 ];
 }
 
 ##############################
@@ -102,36 +118,42 @@ function fedora_install() {
     set -x
     set -e
 
-    cache=/var/cache/lxc/fedora/$arch/$release
-    
-    mkdir -p /var/lock/subsys/
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
+    cache=/var/cache/lxc/fedora/$arch/${fedora_release}
+    mkdir -p $cache
+
     (
-        flock -n -x 200 || { echo "Cache repository is busy." ; return 1 ; }
+        flock --exclusive --timeout 60 200 || { echo "Cache repository is busy." ; return 1 ; }
 
         if [ ! -e "$cache/rootfs" ]; then
             echo "Getting cache download in $cache/rootfs ... "
-            fedora_download || { echo "Failed to download 'fedora base'"; return 1; }
+            fedora_download $cache || { echo "Failed to download 'fedora base'"; return 1; }
         else
             echo "Updating cache $cache/rootfs ..."
-           if ! yum --installroot $cache/rootfs -y --nogpgcheck update ; then
+           if ! yum --installroot $cache/rootfs --releasever ${fedora_release} -y --nogpgcheck update ; then
                 echo "Failed to update 'fedora base', continuing with last known good cache"
             else
                 echo "Update finished"
             fi
         fi
 
-        echo "Copy $cache/rootfs to $lxc_root ... "
+        echo "Filling $lxc_root from $cache/rootfs ... "
        rsync -a $cache/rootfs/ $lxc_root/
-       
+
         return 0
 
-        ) 200>/var/lock/subsys/lxc
+        ) 200> $cache/lock
 
     return $?
 }
 
 function fedora_download() {
     set -x
+
+    cache=$1; shift
+
     # check the mini fedora was not already downloaded
     INSTALL_ROOT=$cache/partial
     echo $INSTALL_ROOT
@@ -141,7 +163,7 @@ function fedora_download() {
 
     mkdir -p $INSTALL_ROOT || { echo "Failed to create '$INSTALL_ROOT' directory" ; return 1; }
 
-    mkdir -p $INSTALL_ROOT/etc/yum.repos.d   
+    mkdir -p $INSTALL_ROOT/etc/yum.repos.d
     mkdir -p $INSTALL_ROOT/dev
     mknod -m 0444 $INSTALL_ROOT/dev/random c 1 8
     mknod -m 0444 $INSTALL_ROOT/dev/urandom c 1 9
@@ -150,18 +172,21 @@ function fedora_download() {
     cp /etc/yum.conf $INSTALL_ROOT/etc/
     cp /etc/yum.repos.d/fedora* $INSTALL_ROOT/etc/yum.repos.d/
 
-    # append fedora repo files with desired $release and $basearch
+    # append fedora repo files with desired ${fedora_release} and $basearch
     for f in $INSTALL_ROOT/etc/yum.repos.d/* ; do
-      sed -i "s/\$basearch/$arch/g; s/\$releasever/$release/g;" $f
-    done 
+      sed -i "s/\$basearch/$arch/g; s/\$releasever/${fedora_release}/g;" $f
+    done
 
-    MIRROR_URL=http://mirror.onelab.eu/fedora/releases/$release/Everything/$arch/os
-    RELEASE_URL1="$MIRROR_URL/Packages/fedora-release-$release-1.noarch.rpm"
+    MIRROR_URL=$FEDORA_MIRROR_BASE/releases/${fedora_release}/Everything/$arch/os
+    RELEASE_URL1="$MIRROR_URL/Packages/fedora-release-${fedora_release}-1.noarch.rpm"
     # with fedora18 the rpms are scattered by first name
-    RELEASE_URL2="$MIRROR_URL/Packages/f/fedora-release-$release-1.noarch.rpm"
-    RELEASE_TARGET=$INSTALL_ROOT/fedora-release-$release.noarch.rpm
+    # first try the second version of fedora-release first
+    RELEASE_URL2="$MIRROR_URL/Packages/f/fedora-release-${fedora_release}-2.noarch.rpm"
+    RELEASE_URL3="$MIRROR_URL/Packages/f/fedora-release-${fedora_release}-1.noarch.rpm"
+
+    RELEASE_TARGET=$INSTALL_ROOT/fedora-release-${fedora_release}.noarch.rpm
     found=""
-    for attempt in $RELEASE_URL1 $RELEASE_URL2; do
+    for attempt in $RELEASE_URL1 $RELEASE_URL2 $RELEASE_URL3; do
        if curl -f $attempt -o $RELEASE_TARGET ; then
            echo "Retrieved $attempt"
            found=true
@@ -171,22 +196,22 @@ function fedora_download() {
        fi
     done
     [ -n "$found" ] || { echo "Could not retrieve fedora-release rpm - exiting" ; exit 1; }
-    
+
     mkdir -p $INSTALL_ROOT/var/lib/rpm
     rpm --root $INSTALL_ROOT  --initdb
     # when installing f12 this apparently is already present, so ignore result
-    rpm --root $INSTALL_ROOT -ivh $INSTALL_ROOT/fedora-release-$release.noarch.rpm || :
+    rpm --root $INSTALL_ROOT -ivh $INSTALL_ROOT/fedora-release-${fedora_release}.noarch.rpm || :
     # however f12 root images won't get created on a f18 host
     # (the issue here is the same as the one we ran into when dealing with a vs-box)
     # in a nutshell, in f12 the glibc-common and filesystem rpms have an apparent conflict
-    # >>> file /usr/lib/locale from install of glibc-common-2.11.2-3.x86_64 conflicts 
+    # >>> file /usr/lib/locale from install of glibc-common-2.11.2-3.x86_64 conflicts
     #          with file from package filesystem-2.4.30-2.fc12.x86_64
-    # in fact this was - of course - allowed by f12's rpm but later on a fix was made 
+    # in fact this was - of course - allowed by f12's rpm but later on a fix was made
     #   http://rpm.org/gitweb?p=rpm.git;a=commitdiff;h=cf1095648194104a81a58abead05974a5bfa3b9a
     # So ideally if we want to be able to build f12 images from f18 we need an rpm that has
     # this patch undone, like we have in place on our f14 boxes (our f14 boxes need a f18-like rpm)
 
-    YUM="yum --installroot=$INSTALL_ROOT --nogpgcheck -y"
+    YUM="yum --installroot=$INSTALL_ROOT --releasever=${fedora_release} --nogpgcheck -y"
     echo "$YUM install $FEDORA_PREINSTALLED"
     $YUM install $FEDORA_PREINSTALLED || { echo "Failed to download rootfs, aborting." ; return 1; }
 
@@ -202,13 +227,19 @@ function fedora_configure() {
     set -x
     set -e
 
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
     # disable selinux in fedora
     mkdir -p $lxc_root/selinux
     echo 0 > $lxc_root/selinux/enforce
 
     # set the hostname
-    case "$fcdistro" in 
+    case "$fcdistro" in
        f18|f2?)
+            cat <<EOF > ${lxc_root}/etc/sysconfig/network
+NETWORKING=yes
+EOF
            cat <<EOF > ${lxc_root}/etc/hostname
 $GUEST_HOSTNAME
 EOF
@@ -246,13 +277,13 @@ EOF
     mknod -m 666 ${dev_path}/ptmx c 5 2
 
     if [ "$(echo $fcdistro | cut -d"f" -f2)" -le "14" ]; then
-       fedora_configure_init
+       fedora_configure_init $lxc
     else
-       fedora_configure_systemd
+       fedora_configure_systemd $lxc
     fi
 
     guest_ifcfg=${lxc_root}/etc/sysconfig/network-scripts/ifcfg-$VIF_GUEST
-    ( [ -n "$BUILD_MODE" ] && write_guest_ifcfg_build || write_guest_ifcfg_test ) > $guest_ifcfg
+    ( [ -n "$NAT_MODE" ] && write_guest_ifcfg_natip || write_guest_ifcfg_publicip ) > $guest_ifcfg
 
     [ -z "$IMAGE" ] && fedora_configure_yum $lxc $fcdistro $pldistro
 
@@ -262,82 +293,89 @@ EOF
 function fedora_configure_init() {
     set -e
     set -x
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.sysinit
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.d/rc.sysinit
     # don't mount devpts, for pete's sake
     sed -i 's/^.*dev.pts.*$/#\0/' ${lxc_root}/etc/rc.sysinit
     sed -i 's/^.*dev.pts.*$/#\0/' ${lxc_root}/etc/rc.d/rc.sysinit
-    chroot ${lxc_root} chkconfig udev-post off
-    chroot ${lxc_root} chkconfig network on
+    chroot ${lxc_root} $personality chkconfig udev-post off
+    chroot ${lxc_root} $personality chkconfig network on
 }
 
 # this code of course is for guests that do run on systemd
 function fedora_configure_systemd() {
     set -e
     set -x
-    # so ignore if we can't find /etc/systemd at all 
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
+    # so ignore if we can't find /etc/systemd at all
     [ -d ${lxc_root}/etc/systemd ] || return 0
     # otherwise let's proceed
     ln -sf /lib/systemd/system/multi-user.target ${lxc_root}/etc/systemd/system/default.target
     touch ${lxc_root}/etc/fstab
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/udev.service
-# Thierry - Feb 2013
-# this was intended for f16 initially, in order to enable getty that otherwise would not start
-# having a getty running is helpful only if ssh won't start though, and we see a correlation between
-# VM's that refuse to lxc-stop and VM's that run crazy getty's
+# Thierry - Feb 2013 relying on getty is looking for trouble
 # so, turning getty off for now instead
-#   #dependency on a device unit fails it specially that we disabled udev
 #    sed -i 's/After=dev-%i.device/After=/' ${lxc_root}/lib/systemd/system/getty\@.service
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/"getty@.service"
     rm -f ${lxc_root}/etc/systemd/system/getty.target.wants/*service || :
 # can't seem to handle this one with systemctl
-    chroot ${lxc_root} chkconfig network on
+    chroot ${lxc_root} $personality chkconfig network on
 }
 
 # overwrite container yum config
 function fedora_configure_yum () {
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     fcdistro=$1; shift
     pldistro=$1; shift
 
+    lxc_root=$(lxcroot $lxc)
     # rpm --rebuilddb
-    chroot $lxc_root rpm --rebuilddb
+    chroot ${lxc_root} $personality rpm --rebuilddb
 
     echo "Initializing yum.repos.d in $lxc"
     rm -f $lxc_root/etc/yum.repos.d/*
 
     cat > $lxc_root/etc/yum.repos.d/building.repo <<EOF
 [fedora]
-name=Fedora $release - $arch
-baseurl=http://mirror.onelab.eu/fedora/releases/$release/Everything/$arch/os/
+name=Fedora \$releasever - \$basearch
+baseurl=$FEDORA_MIRROR_BASE/releases/\$releasever/Everything/\$basearch/os/
 enabled=1
 metadata_expire=7d
 gpgcheck=1
-gpgkey=http://mirror.onelab.eu/keys/RPM-GPG-KEY-fedora-$release-primary
+gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
 
 [updates]
-name=Fedora $release - $arch - Updates
-baseurl=http://mirror.onelab.eu/fedora/updates/$release/$arch/
+name=Fedora \$releasever - \$basearch - Updates
+baseurl=$FEDORA_MIRROR_BASE/updates/\$releasever/\$basearch/
 enabled=1
 metadata_expire=7d
 gpgcheck=1
-gpgkey=http://mirror.onelab.eu/keys/RPM-GPG-KEY-fedora-$release-primary
+gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
 EOF
-    
-    # for using vtest-init-lxc.sh as a general-purpose lxc creation wrapper
+
+    # import fedora key so that gpgckeck does not whine or require stdin
+    # required since fedora24
+    rpm --root $lxc_root --import $FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
+
+    # for using this script as a general-purpose lxc creation wrapper
     # just mention 'none' as the repo url
     if [ -n "$REPO_URL" ] ; then
        if [ ! -d $lxc_root/etc/yum.repos.d ] ; then
            echo "WARNING : cannot create myplc repo"
        else
-            # exclude kernel from fedora repos 
+            # exclude kernel from fedora repos
            yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
            for repo in $lxc_root/etc/yum.repos.d/* ; do
-               [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude" 
+               [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude"
            done
            # the build repo is not signed at this stage
            cat > $lxc_root/etc/yum.repos.d/myplc.repo <<EOF
@@ -349,17 +387,20 @@ gpgcheck=0
 EOF
        fi
     fi
-}    
+}
 
 ##############################
+# apparently ubuntu exposes a mirrors list by country at
+# http://mirrors.ubuntu.com/mirrors.txt
 # need to specify the right mirror for debian variants like ubuntu and the like
 function debian_mirror () {
     fcdistro=$1; shift
     case $fcdistro in
-       squeeze|wheezy|jessie) 
+       wheezy|jessie)
            echo http://ftp2.fr.debian.org/debian/ ;;
-       oneiric|precise|quantal|raring|saucy) 
-           echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
+       precise|trusty|utopic|vivid|wily|xenial)
+#          echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
+           echo http://www-ftp.lip6.fr/pub/linux/distributions/Ubuntu/archive/ ;;
        *) echo unknown distro $fcdistro; exit 1;;
     esac
 }
@@ -368,36 +409,37 @@ function debian_install () {
     set -e
     set -x
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     mkdir -p $lxc_root
     arch=$(canonical_arch $personality $fcdistro)
     mirror=$(debian_mirror $fcdistro)
-    debootstrap --arch $arch $fcdistro $lxc_root $mirror
+    debootstrap --no-check-gpg --arch $arch $fcdistro $lxc_root $mirror
     # just like with fedora we ensure a few packages get installed as well
     # not started yet
-    #virsh -c lxc:/// lxc-enter-namespace $lxc /bin/bash -c "apt-get update"
-    #virsh -c lxc:/// lxc-enter-namespace $lxc /bin/bash -c "apt-get -y install $DEBIAN_PREINSTALLED"
-    chroot $lxc_root apt-get update
-    chroot $lxc_root apt-get -y install $DEBIAN_PREINSTALLED
+    #virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "apt-get update"
+    #virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "apt-get -y install $DEBIAN_PREINSTALLED"
+    chroot ${lxc_root} $personality apt-get update
+    chroot ${lxc_root} $personality apt-get -y install $DEBIAN_PREINSTALLED
     # configure hostname
     cat <<EOF > ${lxc_root}/etc/hostname
 $GUEST_HOSTNAME
 EOF
-    
+
 }
 
 function debian_configure () {
     guest_interfaces=${lxc_root}/etc/network/interfaces
-    ( [ -n "$BUILD_MODE" ] && write_guest_interfaces_build || write_guest_interfaces_test ) > $guest_interfaces
+    ( [ -n "$NAT_MODE" ] && write_guest_interfaces_natip || write_guest_interfaces_publicip ) > $guest_interfaces
 }
 
-function write_guest_interfaces_build () {
+function write_guest_interfaces_natip () {
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet dhcp
 EOF
 }
 
-function write_guest_interfaces_test () {
+function write_guest_interfaces_publicip () {
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet static
@@ -418,15 +460,22 @@ function setup_lxc() {
     pldistro=$1; shift
     personality=$1; shift
 
-    # create lxc container 
-    
+    lxc_root=$(lxcroot $lxc)
+
+    # create lxc container
+
     pkg_method=$(package_method $fcdistro)
     case $pkg_method in
        yum)
             if [ -z "$IMAGE" ]; then
-                fedora_install ||  { echo "failed to install fedora root image"; exit 1 ; }
+                fedora_install $lxc ||  { echo "failed to install fedora root image"; exit 1 ; }
+               # this appears to be safer; observed in Jan. 2016 on a f23 host and a f14 cached image
+               # we were getting this message when attempting the first chroot yum install
+               # rpmdb: Program version 4.8 doesn't match environment version 5.3
+               chroot $(lxcroot $lxc) $personality rm -rf /var/lib/rpm/__db.00{0,1,2,3,4,5,6,7,8,9}
+               chroot $(lxcroot $lxc) $personality rpm --rebuilddb
             fi
-           fedora_configure || { echo "failed to configure fedora for a container"; exit 1 ; }
+           fedora_configure $lxc || { echo "failed to configure fedora for a container"; exit 1 ; }
            ;;
        debootstrap)
             if [ -z "$IMAGE" ]; then
@@ -441,13 +490,15 @@ function setup_lxc() {
     esac
 
     # Enable cgroup -- xxx -- is this really useful ?
-    mkdir $lxc_root/cgroup
-    
-    # set up resolv.conf
+    [ -d $lxc_root/cgroup ] || mkdir $lxc_root/cgroup
+
+    ### set up resolv.conf from host
+    # ubuntu precise and on, /etc/resolv.conf is a symlink to ../run/resolvconf/resolv.conf
+    [ -h $lxc_root/etc/resolv.conf ] && rm -f $lxc_root/etc/resolv.conf
     cp /etc/resolv.conf $lxc_root/etc/resolv.conf
-    # and /etc/hosts for at least localhost
+    ### and /etc/hosts for at least localhost
     [ -f $lxc_root/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > $lxc_root/etc/hosts
-    
+
     # grant ssh access from host to guest
     mkdir -p $lxc_root/root/.ssh
     cat /root/.ssh/id_rsa.pub >> $lxc_root/root/.ssh/authorized_keys
@@ -456,16 +507,26 @@ function setup_lxc() {
 
     # don't keep the input xml, this can be retrieved at all times with virsh dumpxml
     config_xml=/tmp/$lxc.xml
-    ( [ -n "$BUILD_MODE" ] && write_lxc_xml_build $lxc || write_lxc_xml_test $lxc ) > $config_xml
-    
+    ( [ -n "$NAT_MODE" ] && write_lxc_xml_natip $lxc || write_lxc_xml_publicip $lxc ) > $config_xml
+
     # define lxc container for libvirt
     virsh -c lxc:/// define $config_xml
 
     return 0
 }
 
-function write_lxc_xml_test () {
+# this part does not belong in a domain any more
+# but goes in a network object of its own existence
+#      <network>
+#        <name>host-bridge</name>
+#        <forward mode="bridge"/>
+#        <bridge name="br0"/>
+#      </network>
+#
+
+function write_lxc_xml_publicip () {
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
@@ -494,17 +555,14 @@ function write_lxc_xml_test () {
     </interface>
     <console type='pty' />
   </devices>
-  <network>
-    <name>host-bridge</name>
-    <forward mode="bridge"/>
-    <bridge name="$PUBLIC_BRIDGE"/>
-  </network>
 </domain>
 EOF
 }
 
-function write_lxc_xml_build () { 
+# grant build guests the ability to do mknods
+function write_lxc_xml_natip () {
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
@@ -515,6 +573,9 @@ function write_lxc_xml_build () {
   </os>
   <features>
     <acpi/>
+    <capabilities policy='default'>
+      <mknod state='on'/>
+    </capabilities>
   </features>
   <vcpu>1</vcpu>
   <clock offset='utc'/>
@@ -537,7 +598,7 @@ EOF
 }
 
 # this one is dhcp-based
-function write_guest_ifcfg_build () {
+function write_guest_ifcfg_natip () {
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=dhcp
@@ -549,7 +610,7 @@ EOF
 }
 
 # use fixed GUEST_IP as specified by GUEST_HOSTNAME
-function write_guest_ifcfg_test () {
+function write_guest_ifcfg_publicip () {
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=static
@@ -564,10 +625,10 @@ MTU=1500
 EOF
 }
 
-function devel_or_vtest_tools () {
+function devel_or_test_tools () {
 
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
@@ -575,29 +636,44 @@ function devel_or_vtest_tools () {
     pldistro=$1; shift
     personality=$1; shift
 
+    lxc_root=$(lxcroot $lxc)
+
     pkg_method=$(package_method $fcdistro)
 
     pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
 
     ### install individual packages, then groups
     # get target arch - use uname -i here (we want either x86_64 or i386)
-   
-    lxc_arch=$(chroot $lxc_root uname -i)
+
+    lxc_arch=$(chroot ${lxc_root} $personality uname -i)
     # on debian systems we get arch through the 'arch' command
-    [ "$lxc_arch" = "unknown" ] && lxc_arch=$(chroot $lxc_root arch)
+    [ "$lxc_arch" = "unknown" ] && lxc_arch=$(chroot ${lxc_root} $personality arch)
 
     packages=$(pl_getPackages -a $lxc_arch $fcdistro $pldistro $pkgsfile)
     groups=$(pl_getGroups -a $lxc_arch $fcdistro $pldistro $pkgsfile)
 
     case "$pkg_method" in
        yum)
-           [ -n "$packages" ] && chroot $lxc_root yum -y install $packages
+           # --allowerasing required starting with fedora24
+           #
+           has_dnf=""
+           chroot ${lxc_root} $personality dnf --version && has_dnf=true
+           if [ -n "$has_dnf" ]; then
+               echo "container has dnf - invoking with --allowerasing"
+               pkg_installer="dnf -y install --allowerasing"
+               grp_installer="dnf -y groupinstall --allowerasing"
+           else
+               echo "container has only yum"
+               pkg_installer="yum -y install"
+               grp_installer="yum -y groupinstall"
+           fi
+           [ -n "$packages" ] && chroot ${lxc_root} $personality $pkg_installer $packages
            for group_plus in $groups; do
                group=$(echo $group_plus | sed -e "s,+++, ,g")
-               chroot $lxc_root yum -y groupinstall "$group"
+               chroot ${lxc_root} $personality $grp_installer "$group"
            done
            # store current rpm list in /init-lxc.rpms in case we need to check the contents
-           chroot $lxc_root rpm -aq > $lxc_root/init-lxc.rpms
+           chroot ${lxc_root} $personality rpm -aq > $lxc_root/init-lxc.rpms
            ;;
        debootstrap)
            # for ubuntu
@@ -612,8 +688,8 @@ function devel_or_vtest_tools () {
            fi
            for package in $packages ; do
                # container not started yet
-               #virsh -c lxc:/// lxc-enter-namespace $lxc /bin/bash -c "apt-get install -y $package" || :
-               chroot $lxc_root apt-get install -y $package || :
+               #virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "apt-get install -y $package" || :
+               chroot ${lxc_root} $personality apt-get install -y $package || :
            done
            ### xxx todo install groups with apt..
            ;;
@@ -626,57 +702,68 @@ function devel_or_vtest_tools () {
 }
 
 function post_install () {
-    lxc=$1; shift 
+    lxc=$1; shift
     personality=$1; shift
-    if [ -n "$BUILD_MODE" ] ; then
-       post_install_build $lxc $personality
-       virsh -c lxc:/// start $lxc
-       # manually run dhclient in guest - somehow this network won't start on its own
-       virsh -c lxc:/// lxc-enter-namespace $lxc /bin/bash -c "dhclient $VIF_GUEST"
-    else
-       post_install_myplc $lxc $personality
-       virsh -c lxc:/// start $lxc
-# it sounds like we don't need ssh per se any more
-# it still makes sense to wait for network readiness though
-# some day maybe...
-       wait_for_ssh $lxc
-    fi
+    lxc_root=$(lxcroot $lxc)
     # setup localtime from the host
     cp /etc/localtime $lxc_root/etc/localtime
+    sshd_disable_password_auth $lxc
+    # post install hook
+    [ -n "$NAT_MODE" ] && post_install_natip $lxc $personality || post_install_myplc $lxc $personality
+    # start the VM unless specified otherwise
+    if [ -n "$START_VM" ] ; then
+       echo Starting guest $lxc
+       virsh -c lxc:/// start $lxc
+       if [ -n "$NAT_MODE" ] ; then
+           wait_for_ssh $lxc
+       else
+           wait_for_ssh $lxc $GUEST_IP
+       fi
+    fi
 }
 
-function post_install_build () {
+# just in case, let's stay on the safe side
+function sshd_disable_password_auth () {
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+    sed --in-place=.password -e 's,^#\?PasswordAuthentication.*,PasswordAuthentication no,' \
+       $lxc_root/etc/ssh/sshd_config
+}
+
+function post_install_natip () {
 
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
+    lxc_root=$(lxcroot $lxc)
 
 ### From myplc-devel-native.spec
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
-    cat << EOF | chroot $lxc_root bash -x
-    
+    cat << EOF | chroot ${lxc_root} $personality bash -x
+
     # customize root's prompt
     /bin/cat << PROFILE > /root/.profile
 export PS1="[$lxc] \\w # "
 PROFILE
 
 EOF
-       
+
 }
 
 function post_install_myplc  () {
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
+    lxc_root=$(lxcroot $lxc)
 
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
-    cat << EOF | chroot $lxc_root bash -x
+    cat << EOF | chroot ${lxc_root} $personality bash -x
 
     # create /etc/sysconfig/network if missing
     [ -f /etc/sysconfig/network ] || /bin/echo NETWORKING=yes > /etc/sysconfig/network
@@ -692,31 +779,47 @@ PROFILE
 EOF
 }
 
+########################################
+# workaround for broken lxc-enter-namespace
+# 1st version was relying on virsh net-dhcp-leases
+# however this was too fragile, would not work for fedora14 containers
+# WARNING: this code is duplicated in lbuild-nightly.sh
+function guest_ipv4() {
+    lxc=$1; shift
+
+    mac=$(virsh -c lxc:/// domiflist $lxc | egrep 'network|bridge' | awk '{print $5;}')
+    # sanity check
+    [ -z "$mac" ] && return 0
+    arp -en | grep "$mac" | awk '{print $1;}'
+}
+
 function wait_for_ssh () {
     set -x
     set -e
-    #trap failure ERR INT
 
     lxc=$1; shift
-  
-    echo network in guest is up, waiting for ssh...
 
-    #wait max 2 min for sshd to start 
-    ssh_up=""
+    # if run in public_ip mode, we know the IP of the guest and it is specified here
+    [ -n "$1" ] && { guest_ip=$1; shift; }
+
+    #wait max 2 min for sshd to start
+    success=""
     current_time=$(date +%s)
     stop_time=$(($current_time + 120))
-    
+
     counter=1
     while [ "$current_time" -lt "$stop_time" ] ; do
          echo "$counter-th attempt to reach sshd in container $lxc ..."
-         ssh -o "StrictHostKeyChecking no" $GUEST_IP 'uname -i' && { ssh_up=true; echo "SSHD in container $lxc is UP"; break ; } || :
-         sleep 10
-         current_time=$(($current_time + 10))
+        [ -z "$guest_ip" ] && guest_ip=$(guest_ipv4 $lxc)
+        [ -n "$guest_ip" ] && ssh -o "StrictHostKeyChecking no" $guest_ip 'uname -i' && {
+                success=true; echo "SSHD in container $lxc is UP on IP $guest_ip"; break ; } || :
          counter=$(($counter+1))
+         sleep 10
+        current_time=$(date +%s)
     done
 
     # Thierry: this is fatal, let's just exit with a failure here
-    [ -z $ssh_up ] && { echo "SSHD in container $lxc is not running" ; exit 1 ; } 
+    [ -z $success ] && { echo "SSHD in container $lxc could not be reached (guest_ip=$guest_ip)" ; exit 1 ; }
     return 0
 }
 
@@ -727,7 +830,7 @@ function failure () {
 }
 
 function usage () {
-    set +x 
+    set +x
     echo "Usage: $COMMAND [options] lxc-name             (aka build mode)"
     echo "Usage: $COMMAND -n hostname [options] lxc-name (aka test mode)"
     echo "Description:"
@@ -745,11 +848,12 @@ function usage () {
     echo "    by default we use devel.pkgs (build mode) or runtime.pkgs (test mode)"
     echo " -i image - the location of the rootfs"
     echo " -m memory - the amount of allocated memory in MB - defaults to $DEFAULT_MEMORY MB"
+    echo " -s do not start VM"
     echo " -v be verbose"
     exit 1
 }
 
-### parse args and 
+### parse args and
 function main () {
 
     #set -e
@@ -760,7 +864,8 @@ function main () {
           exit 1
     fi
 
-    while getopts "n:f:d:p:r:P:i:m:v" opt ; do
+    START_VM=true
+    while getopts "n:f:d:p:r:P:i:m:sv" opt ; do
        case $opt in
            n) GUEST_HOSTNAME=$OPTARG;;
            f) fcdistro=$OPTARG;;
@@ -770,17 +875,18 @@ function main () {
            P) PREINSTALLED=$OPTARG;;
             i) IMAGE=$OPTARG;;
             m) MEMORY=$OPTARG;;
+           s) START_VM= ;;
            v) VERBOSE=true; set -x;;
            *) usage ;;
        esac
     done
-       
+
     shift $(($OPTIND - 1))
 
     # parse fixed arguments
     [[ -z "$@" ]] && usage
     lxc=$1 ; shift
-    lxc_root=/vservers/$lxc
+    lxc_root=$(lxcroot $lxc)
 
     # rainchecks
     almost_empty $lxc_root || \
@@ -796,32 +902,31 @@ function main () {
         rsync -a $IMAGE/ $lxc_root/
     fi
 
-
     # check we've exhausted the arguments
     [[ -n "$@" ]] && usage
 
-    # BUILD_MODE is true unless we specified a hostname
-    [ -n "$GUEST_HOSTNAME" ] || BUILD_MODE=true
+    # NAT_MODE is true unless we specified a hostname
+    [ -n "$GUEST_HOSTNAME" ] || NAT_MODE=true
 
     # set default values
     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
     [ -z "$MEMORY" ] && MEMORY=$DEFAULT_MEMORY
-    
+
     # set memory in KB
     MEMORY=$(($MEMORY * 1024))
-    
+
     # the set of preinstalled packages - depends on mode
-    if [ -z "$PREINSTALLED"] ; then
-       if [ -n "$BUILD_MODE" ] ; then
+    if [ -z "$PREINSTALLED" ] ; then
+       if [ -n "$NAT_MODE" ] ; then
            PREINSTALLED=devel.pkgs
        else
            PREINSTALLED=runtime.pkgs
        fi
     fi
 
-    if [ -n "$BUILD_MODE" ] ; then
+    if [ -n "$NAT_MODE" ] ; then
        # we can now set GUEST_HOSTNAME safely
         [ -z "$GUEST_HOSTNAME" ] && GUEST_HOSTNAME=$(echo $lxc | sed -e 's,\.,-,g')
     else
@@ -831,12 +936,12 @@ function main () {
        if [ "$REPO_URL" == "none" ] ; then
            REPO_URL=""
        elif [ -z "$REPO_URL" ] ; then
-           echo "WARNING -- setting up a yum repo is recommended" 
+           echo "WARNING -- setting up a yum repo is recommended"
        fi
     fi
 
     ##########
-    release=$(echo $fcdistro | cut -df -f2)
+    fedora_release=$(echo $fcdistro | cut -df -f2)
 
     if [ "$personality" == "linux32" ]; then
         arch=i386
@@ -850,7 +955,7 @@ function main () {
 
     # compute networking details for the test mode
     # (build mode relies entirely on dhcp on the private subnet)
-    if [ -z "$BUILD_MODE" ] ; then
+    if [ -z "$NAT_MODE" ] ; then
 
        #create_bridge_if_needed $PUBLIC_BRIDGE
        lbuild-bridge.sh $PUBLIC_BRIDGE
@@ -860,16 +965,18 @@ function main () {
        masklen=$(ip addr show $PUBLIC_BRIDGE | grep -v inet6 | grep inet | awk '{print $2;}' | cut -d/ -f2)
         NETMASK=$(masklen_to_netmask $masklen)
         GATEWAY=$(ip route show | grep default | awk '{print $3}' | head -1)
-        VIF_HOST="i$(echo $GUEST_HOSTNAME | cut -d. -f1)"
+        VIF_HOST="vif$(echo $GUEST_HOSTNAME | cut -d. -f1)"
     fi
 
-    setup_lxc $lxc $fcdistro $pldistro $personality 
+    setup_lxc $lxc $fcdistro $pldistro $personality
 
-    devel_or_vtest_tools $lxc $fcdistro $pldistro $personality
+    # historically this command is for setting up a build or a test VM
+    # kind of patchy right now though
+    devel_or_test_tools $lxc $fcdistro $pldistro $personality
 
     # container gets started here
     post_install $lxc $personality
-    
+
     echo $COMMAND Done
 
     exit 0