git://git.onelab.eu / build.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
another big fix to fedora-mirror for f29
[build.git] / lbuild-initvm.sh
diff --git a/lbuild-initvm.sh b/lbuild-initvm.sh
index f37f419..ccbb7b1 100755 (executable)
--- a/lbuild-initvm.sh
+++ b/lbuild-initvm.sh
@@ -13,18 +13,27 @@ BUILD_DIR=$(pwd)
 # pkgs parsing utilities + lbuild-bridge.sh
 export PATH=$(dirname $0):$PATH
 
 # pkgs parsing utilities + lbuild-bridge.sh
 export PATH=$(dirname $0):$PATH
 
-# old guests have e.g. mount in /bin but this is no longer part of 
+# old guests have e.g. mount in /bin but this is no longer part of
 # the standard PATH in recent hosts after usrmove, so let's keep it simple
 export PATH=$PATH:/bin:/sbin
 
 . build.common
 
 # the standard PATH in recent hosts after usrmove, so let's keep it simple
 export PATH=$PATH:/bin:/sbin
 
 . build.common
 
+# xxx fixme : we pass $lxc around in functions,
+# but in fact then we use lxc_root which is a global..
+# it works, but this really is poor practice
+# we should have an lxc_root function instead
+function lxcroot () {
+    lxc=$1; shift
+    echo /vservers/$lxc
+}
+
 # XXX fixme : when creating a 32bits VM we need to call linux32 as appropriate...s
 
 # XXX fixme : when creating a 32bits VM we need to call linux32 as appropriate...s
 
-DEFAULT_FCDISTRO=f20
+DEFAULT_FCDISTRO=f29
 DEFAULT_PLDISTRO=lxc
 DEFAULT_PERSONALITY=linux64
 DEFAULT_PLDISTRO=lxc
 DEFAULT_PERSONALITY=linux64
-DEFAULT_MEMORY=512
+DEFAULT_MEMORY=3072
 
 ##########
 # constant
 
 ##########
 # constant
@@ -51,7 +60,7 @@ function masklen_to_netmask () {
     python <<EOF
 import sys
 masklen=$masklen
     python <<EOF
 import sys
 masklen=$masklen
-if not (masklen>=1 and masklen<=32): 
+if not (masklen>=1 and masklen<=32):
   print "Wrong masklen",masklen
   exit(1)
 result=[]
   print "Wrong masklen",masklen
   exit(1)
 result=[]
@@ -63,7 +72,7 @@ for i in range(4):
        result.append(masklen)
        masklen=0
 print ".".join([ str(256-2**(8-i)) for i in result ])
        result.append(masklen)
        masklen=0
 print ".".join([ str(256-2**(8-i)) for i in result ])
-  
+
 EOF
 }
 
 EOF
 }
 
@@ -72,10 +81,13 @@ EOF
 function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
 function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
-       f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
-       squeeze|wheezy|jessie|oneiric|precise|quantal|raring|saucy|trusty) echo debootstrap ;;
-       *) echo Unknown distro $fcdistro ;;
-    esac 
+       f[0-9]*|centos[0-9]*|sl[0-9]*)
+           echo yum ;;
+       wheezy|jessie|precise|trusty|utopic|vivid|wily|xenial)
+           echo debootstrap ;;
+       *)
+           echo Unknown distro $fcdistro ;;
+    esac
 }
 
 # return arch from debian distro and personality
 }
 
 # return arch from debian distro and personality
@@ -93,12 +105,12 @@ function canonical_arch () {
 }
 
 # the new test framework creates /timestamp in /vservers/<name> *before* populating it
 }
 
 # the new test framework creates /timestamp in /vservers/<name> *before* populating it
-function almost_empty () { 
-    dir="$1"; shift ; 
+function almost_empty () {
+    dir="$1"; shift ;
     # non existing is fine
     # non existing is fine
-    [ ! -d $dir ] && return 0; 
+    [ ! -d $dir ] && return 0;
     # need to have at most one file
     # need to have at most one file
-    count=$(cd $dir; ls | wc -l); [ $count -le 1 ]; 
+    count=$(cd $dir; ls | wc -l); [ $count -le 1 ];
 }
 
 ##############################
 }
 
 ##############################
@@ -106,9 +118,12 @@ function fedora_install() {
     set -x
     set -e
 
     set -x
     set -e
 
-    cache=/var/cache/lxc/fedora/$arch/$release
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
+    cache=/var/cache/lxc/fedora/$arch/${fedora_release}
     mkdir -p $cache
     mkdir -p $cache
-    
+
     (
         flock --exclusive --timeout 60 200 || { echo "Cache repository is busy." ; return 1 ; }
 
     (
         flock --exclusive --timeout 60 200 || { echo "Cache repository is busy." ; return 1 ; }
 
@@ -117,7 +132,7 @@ function fedora_install() {
             fedora_download $cache || { echo "Failed to download 'fedora base'"; return 1; }
         else
             echo "Updating cache $cache/rootfs ..."
             fedora_download $cache || { echo "Failed to download 'fedora base'"; return 1; }
         else
             echo "Updating cache $cache/rootfs ..."
-           if ! yum --installroot $cache/rootfs -y --nogpgcheck update ; then
+           if ! yum --installroot $cache/rootfs --releasever ${fedora_release} -y --nogpgcheck update ; then
                 echo "Failed to update 'fedora base', continuing with last known good cache"
             else
                 echo "Update finished"
                 echo "Failed to update 'fedora base', continuing with last known good cache"
             else
                 echo "Update finished"
@@ -126,7 +141,7 @@ function fedora_install() {
 
         echo "Filling $lxc_root from $cache/rootfs ... "
        rsync -a $cache/rootfs/ $lxc_root/
 
         echo "Filling $lxc_root from $cache/rootfs ... "
        rsync -a $cache/rootfs/ $lxc_root/
-       
+
         return 0
 
         ) 200> $cache/lock
         return 0
 
         ) 200> $cache/lock
@@ -148,7 +163,7 @@ function fedora_download() {
 
     mkdir -p $INSTALL_ROOT || { echo "Failed to create '$INSTALL_ROOT' directory" ; return 1; }
 
 
     mkdir -p $INSTALL_ROOT || { echo "Failed to create '$INSTALL_ROOT' directory" ; return 1; }
 
-    mkdir -p $INSTALL_ROOT/etc/yum.repos.d   
+    mkdir -p $INSTALL_ROOT/etc/yum.repos.d
     mkdir -p $INSTALL_ROOT/dev
     mknod -m 0444 $INSTALL_ROOT/dev/random c 1 8
     mknod -m 0444 $INSTALL_ROOT/dev/urandom c 1 9
     mkdir -p $INSTALL_ROOT/dev
     mknod -m 0444 $INSTALL_ROOT/dev/random c 1 8
     mknod -m 0444 $INSTALL_ROOT/dev/urandom c 1 9
@@ -157,18 +172,21 @@ function fedora_download() {
     cp /etc/yum.conf $INSTALL_ROOT/etc/
     cp /etc/yum.repos.d/fedora* $INSTALL_ROOT/etc/yum.repos.d/
 
     cp /etc/yum.conf $INSTALL_ROOT/etc/
     cp /etc/yum.repos.d/fedora* $INSTALL_ROOT/etc/yum.repos.d/
 
-    # append fedora repo files with desired $release and $basearch
+    # append fedora repo files with desired ${fedora_release} and $basearch
     for f in $INSTALL_ROOT/etc/yum.repos.d/* ; do
     for f in $INSTALL_ROOT/etc/yum.repos.d/* ; do
-      sed -i "s/\$basearch/$arch/g; s/\$releasever/$release/g;" $f
-    done 
+      sed -i "s/\$basearch/$arch/g; s/\$releasever/${fedora_release}/g;" $f
+    done
 
 
-    MIRROR_URL=$FEDORA_MIRROR_BASE/releases/$release/Everything/$arch/os
-    RELEASE_URL1="$MIRROR_URL/Packages/fedora-release-$release-1.noarch.rpm"
+    MIRROR_URL=$FEDORA_MIRROR_BASE/releases/${fedora_release}/Everything/$arch/os
+    RELEASE_URL1="$MIRROR_URL/Packages/fedora-release-${fedora_release}-1.noarch.rpm"
     # with fedora18 the rpms are scattered by first name
     # with fedora18 the rpms are scattered by first name
-    RELEASE_URL2="$MIRROR_URL/Packages/f/fedora-release-$release-1.noarch.rpm"
-    RELEASE_TARGET=$INSTALL_ROOT/fedora-release-$release.noarch.rpm
+    # first try the second version of fedora-release first
+    RELEASE_URL2="$MIRROR_URL/Packages/f/fedora-release-${fedora_release}-2.noarch.rpm"
+    RELEASE_URL3="$MIRROR_URL/Packages/f/fedora-release-${fedora_release}-1.noarch.rpm"
+
+    RELEASE_TARGET=$INSTALL_ROOT/fedora-release-${fedora_release}.noarch.rpm
     found=""
     found=""
-    for attempt in $RELEASE_URL1 $RELEASE_URL2; do
+    for attempt in $RELEASE_URL1 $RELEASE_URL2 $RELEASE_URL3; do
        if curl -f $attempt -o $RELEASE_TARGET ; then
            echo "Retrieved $attempt"
            found=true
        if curl -f $attempt -o $RELEASE_TARGET ; then
            echo "Retrieved $attempt"
            found=true
@@ -178,22 +196,22 @@ function fedora_download() {
        fi
     done
     [ -n "$found" ] || { echo "Could not retrieve fedora-release rpm - exiting" ; exit 1; }
        fi
     done
     [ -n "$found" ] || { echo "Could not retrieve fedora-release rpm - exiting" ; exit 1; }
-    
+
     mkdir -p $INSTALL_ROOT/var/lib/rpm
     rpm --root $INSTALL_ROOT  --initdb
     # when installing f12 this apparently is already present, so ignore result
     mkdir -p $INSTALL_ROOT/var/lib/rpm
     rpm --root $INSTALL_ROOT  --initdb
     # when installing f12 this apparently is already present, so ignore result
-    rpm --root $INSTALL_ROOT -ivh $INSTALL_ROOT/fedora-release-$release.noarch.rpm || :
+    rpm --root $INSTALL_ROOT -ivh $INSTALL_ROOT/fedora-release-${fedora_release}.noarch.rpm || :
     # however f12 root images won't get created on a f18 host
     # (the issue here is the same as the one we ran into when dealing with a vs-box)
     # in a nutshell, in f12 the glibc-common and filesystem rpms have an apparent conflict
     # however f12 root images won't get created on a f18 host
     # (the issue here is the same as the one we ran into when dealing with a vs-box)
     # in a nutshell, in f12 the glibc-common and filesystem rpms have an apparent conflict
-    # >>> file /usr/lib/locale from install of glibc-common-2.11.2-3.x86_64 conflicts 
+    # >>> file /usr/lib/locale from install of glibc-common-2.11.2-3.x86_64 conflicts
     #          with file from package filesystem-2.4.30-2.fc12.x86_64
     #          with file from package filesystem-2.4.30-2.fc12.x86_64
-    # in fact this was - of course - allowed by f12's rpm but later on a fix was made 
+    # in fact this was - of course - allowed by f12's rpm but later on a fix was made
     #   http://rpm.org/gitweb?p=rpm.git;a=commitdiff;h=cf1095648194104a81a58abead05974a5bfa3b9a
     # So ideally if we want to be able to build f12 images from f18 we need an rpm that has
     # this patch undone, like we have in place on our f14 boxes (our f14 boxes need a f18-like rpm)
 
     #   http://rpm.org/gitweb?p=rpm.git;a=commitdiff;h=cf1095648194104a81a58abead05974a5bfa3b9a
     # So ideally if we want to be able to build f12 images from f18 we need an rpm that has
     # this patch undone, like we have in place on our f14 boxes (our f14 boxes need a f18-like rpm)
 
-    YUM="yum --installroot=$INSTALL_ROOT --nogpgcheck -y"
+    YUM="yum --installroot=$INSTALL_ROOT --releasever=${fedora_release} --nogpgcheck -y"
     echo "$YUM install $FEDORA_PREINSTALLED"
     $YUM install $FEDORA_PREINSTALLED || { echo "Failed to download rootfs, aborting." ; return 1; }
 
     echo "$YUM install $FEDORA_PREINSTALLED"
     $YUM install $FEDORA_PREINSTALLED || { echo "Failed to download rootfs, aborting." ; return 1; }
 
@@ -209,12 +227,15 @@ function fedora_configure() {
     set -x
     set -e
 
     set -x
     set -e
 
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
     # disable selinux in fedora
     mkdir -p $lxc_root/selinux
     echo 0 > $lxc_root/selinux/enforce
 
     # set the hostname
     # disable selinux in fedora
     mkdir -p $lxc_root/selinux
     echo 0 > $lxc_root/selinux/enforce
 
     # set the hostname
-    case "$fcdistro" in 
+    case "$fcdistro" in
        f18|f2?)
             cat <<EOF > ${lxc_root}/etc/sysconfig/network
 NETWORKING=yes
        f18|f2?)
             cat <<EOF > ${lxc_root}/etc/sysconfig/network
 NETWORKING=yes
@@ -256,13 +277,13 @@ EOF
     mknod -m 666 ${dev_path}/ptmx c 5 2
 
     if [ "$(echo $fcdistro | cut -d"f" -f2)" -le "14" ]; then
     mknod -m 666 ${dev_path}/ptmx c 5 2
 
     if [ "$(echo $fcdistro | cut -d"f" -f2)" -le "14" ]; then
-       fedora_configure_init
+       fedora_configure_init $lxc
     else
     else
-       fedora_configure_systemd
+       fedora_configure_systemd $lxc
     fi
 
     guest_ifcfg=${lxc_root}/etc/sysconfig/network-scripts/ifcfg-$VIF_GUEST
     fi
 
     guest_ifcfg=${lxc_root}/etc/sysconfig/network-scripts/ifcfg-$VIF_GUEST
-    ( [ -n "$BUILD_MODE" ] && write_guest_ifcfg_build || write_guest_ifcfg_test ) > $guest_ifcfg
+    ( [ -n "$NAT_MODE" ] && write_guest_ifcfg_natip || write_guest_ifcfg_publicip ) > $guest_ifcfg
 
     [ -z "$IMAGE" ] && fedora_configure_yum $lxc $fcdistro $pldistro
 
 
     [ -z "$IMAGE" ] && fedora_configure_yum $lxc $fcdistro $pldistro
 
@@ -272,6 +293,9 @@ EOF
 function fedora_configure_init() {
     set -e
     set -x
 function fedora_configure_init() {
     set -e
     set -x
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.sysinit
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.d/rc.sysinit
     # don't mount devpts, for pete's sake
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.sysinit
     sed -i 's|.sbin.start_udev||' ${lxc_root}/etc/rc.d/rc.sysinit
     # don't mount devpts, for pete's sake
@@ -285,18 +309,17 @@ function fedora_configure_init() {
 function fedora_configure_systemd() {
     set -e
     set -x
 function fedora_configure_systemd() {
     set -e
     set -x
-    # so ignore if we can't find /etc/systemd at all 
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+
+    # so ignore if we can't find /etc/systemd at all
     [ -d ${lxc_root}/etc/systemd ] || return 0
     # otherwise let's proceed
     ln -sf /lib/systemd/system/multi-user.target ${lxc_root}/etc/systemd/system/default.target
     touch ${lxc_root}/etc/fstab
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/udev.service
     [ -d ${lxc_root}/etc/systemd ] || return 0
     # otherwise let's proceed
     ln -sf /lib/systemd/system/multi-user.target ${lxc_root}/etc/systemd/system/default.target
     touch ${lxc_root}/etc/fstab
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/udev.service
-# Thierry - Feb 2013
-# this was intended for f16 initially, in order to enable getty that otherwise would not start
-# having a getty running is helpful only if ssh won't start though, and we see a correlation between
-# VM's that refuse to lxc-stop and VM's that run crazy getty's
+# Thierry - Feb 2013 relying on getty is looking for trouble
 # so, turning getty off for now instead
 # so, turning getty off for now instead
-#   #dependency on a device unit fails it specially that we disabled udev
 #    sed -i 's/After=dev-%i.device/After=/' ${lxc_root}/lib/systemd/system/getty\@.service
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/"getty@.service"
     rm -f ${lxc_root}/etc/systemd/system/getty.target.wants/*service || :
 #    sed -i 's/After=dev-%i.device/After=/' ${lxc_root}/lib/systemd/system/getty\@.service
     ln -sf /dev/null ${lxc_root}/etc/systemd/system/"getty@.service"
     rm -f ${lxc_root}/etc/systemd/system/getty.target.wants/*service || :
@@ -306,14 +329,15 @@ function fedora_configure_systemd() {
 
 # overwrite container yum config
 function fedora_configure_yum () {
 
 # overwrite container yum config
 function fedora_configure_yum () {
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     fcdistro=$1; shift
     pldistro=$1; shift
 
     trap failure ERR INT
 
     lxc=$1; shift
     fcdistro=$1; shift
     pldistro=$1; shift
 
+    lxc_root=$(lxcroot $lxc)
     # rpm --rebuilddb
     chroot ${lxc_root} $personality rpm --rebuilddb
 
     # rpm --rebuilddb
     chroot ${lxc_root} $personality rpm --rebuilddb
 
@@ -327,7 +351,7 @@ baseurl=$FEDORA_MIRROR_BASE/releases/\$releasever/Everything/\$basearch/os/
 enabled=1
 metadata_expire=7d
 gpgcheck=1
 enabled=1
 metadata_expire=7d
 gpgcheck=1
-gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-$release-primary
+gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
 
 [updates]
 name=Fedora \$releasever - \$basearch - Updates
 
 [updates]
 name=Fedora \$releasever - \$basearch - Updates
@@ -335,19 +359,23 @@ baseurl=$FEDORA_MIRROR_BASE/updates/\$releasever/\$basearch/
 enabled=1
 metadata_expire=7d
 gpgcheck=1
 enabled=1
 metadata_expire=7d
 gpgcheck=1
-gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-$release-primary
+gpgkey=$FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
 EOF
 
 EOF
 
-    # for using vtest-init-lxc.sh as a general-purpose lxc creation wrapper
+    # import fedora key so that gpgckeck does not whine or require stdin
+    # required since fedora24
+    rpm --root $lxc_root --import $FEDORA_MIRROR_KEYS/RPM-GPG-KEY-fedora-${fedora_release}-primary
+
+    # for using this script as a general-purpose lxc creation wrapper
     # just mention 'none' as the repo url
     if [ -n "$REPO_URL" ] ; then
        if [ ! -d $lxc_root/etc/yum.repos.d ] ; then
            echo "WARNING : cannot create myplc repo"
        else
     # just mention 'none' as the repo url
     if [ -n "$REPO_URL" ] ; then
        if [ ! -d $lxc_root/etc/yum.repos.d ] ; then
            echo "WARNING : cannot create myplc repo"
        else
-            # exclude kernel from fedora repos 
+            # exclude kernel from fedora repos
            yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
            for repo in $lxc_root/etc/yum.repos.d/* ; do
            yumexclude=$(pl_plcyumexclude $fcdistro $pldistro $DIRNAME)
            for repo in $lxc_root/etc/yum.repos.d/* ; do
-               [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude" 
+               [ -f $repo ] && yumconf_exclude $repo "exclude=$yumexclude"
            done
            # the build repo is not signed at this stage
            cat > $lxc_root/etc/yum.repos.d/myplc.repo <<EOF
            done
            # the build repo is not signed at this stage
            cat > $lxc_root/etc/yum.repos.d/myplc.repo <<EOF
@@ -359,17 +387,20 @@ gpgcheck=0
 EOF
        fi
     fi
 EOF
        fi
     fi
-}    
+}
 
 ##############################
 
 ##############################
+# apparently ubuntu exposes a mirrors list by country at
+# http://mirrors.ubuntu.com/mirrors.txt
 # need to specify the right mirror for debian variants like ubuntu and the like
 function debian_mirror () {
     fcdistro=$1; shift
     case $fcdistro in
 # need to specify the right mirror for debian variants like ubuntu and the like
 function debian_mirror () {
     fcdistro=$1; shift
     case $fcdistro in
-       squeeze|wheezy|jessie) 
+       wheezy|jessie)
            echo http://ftp2.fr.debian.org/debian/ ;;
            echo http://ftp2.fr.debian.org/debian/ ;;
-       oneiric|precise|quantal|raring|saucy|trusty) 
-           echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
+       precise|trusty|utopic|vivid|wily|xenial)
+#          echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
+           echo http://www-ftp.lip6.fr/pub/linux/distributions/Ubuntu/archive/ ;;
        *) echo unknown distro $fcdistro; exit 1;;
     esac
 }
        *) echo unknown distro $fcdistro; exit 1;;
     esac
 }
@@ -378,10 +409,11 @@ function debian_install () {
     set -e
     set -x
     lxc=$1; shift
     set -e
     set -x
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     mkdir -p $lxc_root
     arch=$(canonical_arch $personality $fcdistro)
     mirror=$(debian_mirror $fcdistro)
     mkdir -p $lxc_root
     arch=$(canonical_arch $personality $fcdistro)
     mirror=$(debian_mirror $fcdistro)
-    debootstrap --arch $arch $fcdistro $lxc_root $mirror
+    debootstrap --no-check-gpg --arch $arch $fcdistro $lxc_root $mirror
     # just like with fedora we ensure a few packages get installed as well
     # not started yet
     #virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "apt-get update"
     # just like with fedora we ensure a few packages get installed as well
     # not started yet
     #virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "apt-get update"
@@ -392,22 +424,22 @@ function debian_install () {
     cat <<EOF > ${lxc_root}/etc/hostname
 $GUEST_HOSTNAME
 EOF
     cat <<EOF > ${lxc_root}/etc/hostname
 $GUEST_HOSTNAME
 EOF
-    
+
 }
 
 function debian_configure () {
     guest_interfaces=${lxc_root}/etc/network/interfaces
 }
 
 function debian_configure () {
     guest_interfaces=${lxc_root}/etc/network/interfaces
-    ( [ -n "$BUILD_MODE" ] && write_guest_interfaces_build || write_guest_interfaces_test ) > $guest_interfaces
+    ( [ -n "$NAT_MODE" ] && write_guest_interfaces_natip || write_guest_interfaces_publicip ) > $guest_interfaces
 }
 
 }
 
-function write_guest_interfaces_build () {
+function write_guest_interfaces_natip () {
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet dhcp
 EOF
 }
 
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet dhcp
 EOF
 }
 
-function write_guest_interfaces_test () {
+function write_guest_interfaces_publicip () {
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet static
     cat <<EOF
 auto $VIF_GUEST
 iface $VIF_GUEST inet static
@@ -428,15 +460,22 @@ function setup_lxc() {
     pldistro=$1; shift
     personality=$1; shift
 
     pldistro=$1; shift
     personality=$1; shift
 
-    # create lxc container 
-    
+    lxc_root=$(lxcroot $lxc)
+
+    # create lxc container
+
     pkg_method=$(package_method $fcdistro)
     case $pkg_method in
        yum)
             if [ -z "$IMAGE" ]; then
     pkg_method=$(package_method $fcdistro)
     case $pkg_method in
        yum)
             if [ -z "$IMAGE" ]; then
-                fedora_install ||  { echo "failed to install fedora root image"; exit 1 ; }
+                fedora_install $lxc ||  { echo "failed to install fedora root image"; exit 1 ; }
+               # this appears to be safer; observed in Jan. 2016 on a f23 host and a f14 cached image
+               # we were getting this message when attempting the first chroot yum install
+               # rpmdb: Program version 4.8 doesn't match environment version 5.3
+               chroot $(lxcroot $lxc) $personality rm -rf /var/lib/rpm/__db.00{0,1,2,3,4,5,6,7,8,9}
+               chroot $(lxcroot $lxc) $personality rpm --rebuilddb
             fi
             fi
-           fedora_configure || { echo "failed to configure fedora for a container"; exit 1 ; }
+           fedora_configure $lxc || { echo "failed to configure fedora for a container"; exit 1 ; }
            ;;
        debootstrap)
             if [ -z "$IMAGE" ]; then
            ;;
        debootstrap)
             if [ -z "$IMAGE" ]; then
@@ -452,12 +491,14 @@ function setup_lxc() {
 
     # Enable cgroup -- xxx -- is this really useful ?
     [ -d $lxc_root/cgroup ] || mkdir $lxc_root/cgroup
 
     # Enable cgroup -- xxx -- is this really useful ?
     [ -d $lxc_root/cgroup ] || mkdir $lxc_root/cgroup
-    
-    # set up resolv.conf
+
+    ### set up resolv.conf from host
+    # ubuntu precise and on, /etc/resolv.conf is a symlink to ../run/resolvconf/resolv.conf
+    [ -h $lxc_root/etc/resolv.conf ] && rm -f $lxc_root/etc/resolv.conf
     cp /etc/resolv.conf $lxc_root/etc/resolv.conf
     cp /etc/resolv.conf $lxc_root/etc/resolv.conf
-    # and /etc/hosts for at least localhost
+    ### and /etc/hosts for at least localhost
     [ -f $lxc_root/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > $lxc_root/etc/hosts
     [ -f $lxc_root/etc/hosts ] || echo "127.0.0.1 localhost localhost.localdomain" > $lxc_root/etc/hosts
-    
+
     # grant ssh access from host to guest
     mkdir -p $lxc_root/root/.ssh
     cat /root/.ssh/id_rsa.pub >> $lxc_root/root/.ssh/authorized_keys
     # grant ssh access from host to guest
     mkdir -p $lxc_root/root/.ssh
     cat /root/.ssh/id_rsa.pub >> $lxc_root/root/.ssh/authorized_keys
@@ -466,16 +507,26 @@ function setup_lxc() {
 
     # don't keep the input xml, this can be retrieved at all times with virsh dumpxml
     config_xml=/tmp/$lxc.xml
 
     # don't keep the input xml, this can be retrieved at all times with virsh dumpxml
     config_xml=/tmp/$lxc.xml
-    ( [ -n "$BUILD_MODE" ] && write_lxc_xml_build $lxc || write_lxc_xml_test $lxc ) > $config_xml
-    
+    ( [ -n "$NAT_MODE" ] && write_lxc_xml_natip $lxc || write_lxc_xml_publicip $lxc ) > $config_xml
+
     # define lxc container for libvirt
     virsh -c lxc:/// define $config_xml
 
     return 0
 }
 
     # define lxc container for libvirt
     virsh -c lxc:/// define $config_xml
 
     return 0
 }
 
-function write_lxc_xml_test () {
+# this part does not belong in a domain any more
+# but goes in a network object of its own existence
+#      <network>
+#        <name>host-bridge</name>
+#        <forward mode="bridge"/>
+#        <bridge name="br0"/>
+#      </network>
+#
+
+function write_lxc_xml_publicip () {
     lxc=$1; shift
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
@@ -504,17 +555,14 @@ function write_lxc_xml_test () {
     </interface>
     <console type='pty' />
   </devices>
     </interface>
     <console type='pty' />
   </devices>
-  <network>
-    <name>host-bridge</name>
-    <forward mode="bridge"/>
-    <bridge name="$PUBLIC_BRIDGE"/>
-  </network>
 </domain>
 EOF
 }
 
 </domain>
 EOF
 }
 
-function write_lxc_xml_build () { 
+# grant build guests the ability to do mknods
+function write_lxc_xml_natip () {
     lxc=$1; shift
     lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
     cat <<EOF
 <domain type='lxc'>
   <name>$lxc</name>
@@ -525,6 +573,9 @@ function write_lxc_xml_build () {
   </os>
   <features>
     <acpi/>
   </os>
   <features>
     <acpi/>
+    <capabilities policy='default'>
+      <mknod state='on'/>
+    </capabilities>
   </features>
   <vcpu>1</vcpu>
   <clock offset='utc'/>
   </features>
   <vcpu>1</vcpu>
   <clock offset='utc'/>
@@ -547,7 +598,7 @@ EOF
 }
 
 # this one is dhcp-based
 }
 
 # this one is dhcp-based
-function write_guest_ifcfg_build () {
+function write_guest_ifcfg_natip () {
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=dhcp
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=dhcp
@@ -559,7 +610,7 @@ EOF
 }
 
 # use fixed GUEST_IP as specified by GUEST_HOSTNAME
 }
 
 # use fixed GUEST_IP as specified by GUEST_HOSTNAME
-function write_guest_ifcfg_test () {
+function write_guest_ifcfg_publicip () {
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=static
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=static
@@ -574,10 +625,10 @@ MTU=1500
 EOF
 }
 
 EOF
 }
 
-function devel_or_vtest_tools () {
+function devel_or_test_tools () {
 
 
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     trap failure ERR INT
 
     lxc=$1; shift
@@ -585,13 +636,15 @@ function devel_or_vtest_tools () {
     pldistro=$1; shift
     personality=$1; shift
 
     pldistro=$1; shift
     personality=$1; shift
 
+    lxc_root=$(lxcroot $lxc)
+
     pkg_method=$(package_method $fcdistro)
 
     pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
 
     ### install individual packages, then groups
     # get target arch - use uname -i here (we want either x86_64 or i386)
     pkg_method=$(package_method $fcdistro)
 
     pkgsfile=$(pl_locateDistroFile $DIRNAME $pldistro $PREINSTALLED)
 
     ### install individual packages, then groups
     # get target arch - use uname -i here (we want either x86_64 or i386)
-   
+
     lxc_arch=$(chroot ${lxc_root} $personality uname -i)
     # on debian systems we get arch through the 'arch' command
     [ "$lxc_arch" = "unknown" ] && lxc_arch=$(chroot ${lxc_root} $personality arch)
     lxc_arch=$(chroot ${lxc_root} $personality uname -i)
     # on debian systems we get arch through the 'arch' command
     [ "$lxc_arch" = "unknown" ] && lxc_arch=$(chroot ${lxc_root} $personality arch)
@@ -601,10 +654,23 @@ function devel_or_vtest_tools () {
 
     case "$pkg_method" in
        yum)
 
     case "$pkg_method" in
        yum)
-           [ -n "$packages" ] && chroot ${lxc_root} $personality yum -y install $packages
+           # --allowerasing required starting with fedora24
+           #
+           has_dnf=""
+           chroot ${lxc_root} $personality dnf --version && has_dnf=true
+           if [ -n "$has_dnf" ]; then
+               echo "container has dnf - invoking with --allowerasing"
+               pkg_installer="dnf -y install --allowerasing"
+               grp_installer="dnf -y groupinstall --allowerasing"
+           else
+               echo "container has only yum"
+               pkg_installer="yum -y install"
+               grp_installer="yum -y groupinstall"
+           fi
+           [ -n "$packages" ] && chroot ${lxc_root} $personality $pkg_installer $packages
            for group_plus in $groups; do
                group=$(echo $group_plus | sed -e "s,+++, ,g")
            for group_plus in $groups; do
                group=$(echo $group_plus | sed -e "s,+++, ,g")
-               chroot ${lxc_root} $personality yum -y groupinstall "$group"
+               chroot ${lxc_root} $personality $grp_installer "$group"
            done
            # store current rpm list in /init-lxc.rpms in case we need to check the contents
            chroot ${lxc_root} $personality rpm -aq > $lxc_root/init-lxc.rpms
            done
            # store current rpm list in /init-lxc.rpms in case we need to check the contents
            chroot ${lxc_root} $personality rpm -aq > $lxc_root/init-lxc.rpms
@@ -636,58 +702,65 @@ function devel_or_vtest_tools () {
 }
 
 function post_install () {
 }
 
 function post_install () {
-    lxc=$1; shift 
+    lxc=$1; shift
     personality=$1; shift
     personality=$1; shift
+    lxc_root=$(lxcroot $lxc)
     # setup localtime from the host
     cp /etc/localtime $lxc_root/etc/localtime
     # setup localtime from the host
     cp /etc/localtime $lxc_root/etc/localtime
-    if [ -n "$BUILD_MODE" ] ; then
-       post_install_build $lxc $personality
-       if [ -n "$START_VM" ] ; then
-           virsh -c lxc:/// start $lxc
-           # manually run dhclient in guest - somehow this network won't start on its own
-            virsh -c lxc:/// lxc-enter-namespace $lxc /usr/bin/$personality /bin/bash -c "dhclient $VIF_GUEST"
-       fi
-    else
-       post_install_myplc $lxc $personality
-       if [ -n "$START_VM" ] ; then
-           virsh -c lxc:/// start $lxc
-           # it sounds like we don't need ssh per se any more
-           # it still makes sense to wait for network readiness though
-           # some day maybe...
+    sshd_disable_password_auth $lxc
+    # post install hook
+    [ -n "$NAT_MODE" ] && post_install_natip $lxc $personality || post_install_myplc $lxc $personality
+    # start the VM unless specified otherwise
+    if [ -n "$START_VM" ] ; then
+       echo Starting guest $lxc
+       virsh -c lxc:/// start $lxc
+       if [ -n "$NAT_MODE" ] ; then
            wait_for_ssh $lxc
            wait_for_ssh $lxc
+       else
+           wait_for_ssh $lxc $GUEST_IP
        fi
     fi
 }
 
        fi
     fi
 }
 
-function post_install_build () {
+# just in case, let's stay on the safe side
+function sshd_disable_password_auth () {
+    lxc=$1; shift
+    lxc_root=$(lxcroot $lxc)
+    sed --in-place=.password -e 's,^#\?PasswordAuthentication.*,PasswordAuthentication no,' \
+       $lxc_root/etc/ssh/sshd_config
+}
 
 
-    set -x 
-    set -e 
+function post_install_natip () {
+
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
+    lxc_root=$(lxcroot $lxc)
 
 ### From myplc-devel-native.spec
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
     cat << EOF | chroot ${lxc_root} $personality bash -x
 
 ### From myplc-devel-native.spec
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
     cat << EOF | chroot ${lxc_root} $personality bash -x
-    
+
     # customize root's prompt
     /bin/cat << PROFILE > /root/.profile
 export PS1="[$lxc] \\w # "
 PROFILE
 
 EOF
     # customize root's prompt
     /bin/cat << PROFILE > /root/.profile
 export PS1="[$lxc] \\w # "
 PROFILE
 
 EOF
-       
+
 }
 
 function post_install_myplc  () {
 }
 
 function post_install_myplc  () {
-    set -x 
-    set -e 
+    set -x
+    set -e
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
     trap failure ERR INT
 
     lxc=$1; shift
     personality=$1; shift
+    lxc_root=$(lxcroot $lxc)
 
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
     cat << EOF | chroot ${lxc_root} $personality bash -x
 
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
     cat << EOF | chroot ${lxc_root} $personality bash -x
@@ -706,31 +779,47 @@ PROFILE
 EOF
 }
 
 EOF
 }
 
+########################################
+# workaround for broken lxc-enter-namespace
+# 1st version was relying on virsh net-dhcp-leases
+# however this was too fragile, would not work for fedora14 containers
+# WARNING: this code is duplicated in lbuild-nightly.sh
+function guest_ipv4() {
+    lxc=$1; shift
+
+    mac=$(virsh -c lxc:/// domiflist $lxc | egrep 'network|bridge' | awk '{print $5;}')
+    # sanity check
+    [ -z "$mac" ] && return 0
+    arp -en | grep "$mac" | awk '{print $1;}'
+}
+
 function wait_for_ssh () {
     set -x
     set -e
 function wait_for_ssh () {
     set -x
     set -e
-    #trap failure ERR INT
 
     lxc=$1; shift
 
     lxc=$1; shift
-  
-    echo network in guest is up, waiting for ssh...
 
 
-    #wait max 2 min for sshd to start 
-    ssh_up=""
+    # if run in public_ip mode, we know the IP of the guest and it is specified here
+    [ -n "$1" ] && { guest_ip=$1; shift; }
+
+    #wait max 2 min for sshd to start
+    success=""
     current_time=$(date +%s)
     stop_time=$(($current_time + 120))
     current_time=$(date +%s)
     stop_time=$(($current_time + 120))
-    
+
     counter=1
     while [ "$current_time" -lt "$stop_time" ] ; do
          echo "$counter-th attempt to reach sshd in container $lxc ..."
     counter=1
     while [ "$current_time" -lt "$stop_time" ] ; do
          echo "$counter-th attempt to reach sshd in container $lxc ..."
-         ssh -o "StrictHostKeyChecking no" $GUEST_IP 'uname -i' && { ssh_up=true; echo "SSHD in container $lxc is UP"; break ; } || :
-         sleep 10
-         current_time=$(($current_time + 10))
+        [ -z "$guest_ip" ] && guest_ip=$(guest_ipv4 $lxc)
+        [ -n "$guest_ip" ] && ssh -o "StrictHostKeyChecking no" $guest_ip 'uname -i' && {
+                success=true; echo "SSHD in container $lxc is UP on IP $guest_ip"; break ; } || :
          counter=$(($counter+1))
          counter=$(($counter+1))
+         sleep 10
+        current_time=$(date +%s)
     done
 
     # Thierry: this is fatal, let's just exit with a failure here
     done
 
     # Thierry: this is fatal, let's just exit with a failure here
-    [ -z $ssh_up ] && { echo "SSHD in container $lxc is not running" ; exit 1 ; } 
+    [ -z $success ] && { echo "SSHD in container $lxc could not be reached (guest_ip=$guest_ip)" ; exit 1 ; }
     return 0
 }
 
     return 0
 }
 
@@ -741,7 +830,7 @@ function failure () {
 }
 
 function usage () {
 }
 
 function usage () {
-    set +x 
+    set +x
     echo "Usage: $COMMAND [options] lxc-name             (aka build mode)"
     echo "Usage: $COMMAND -n hostname [options] lxc-name (aka test mode)"
     echo "Description:"
     echo "Usage: $COMMAND [options] lxc-name             (aka build mode)"
     echo "Usage: $COMMAND -n hostname [options] lxc-name (aka test mode)"
     echo "Description:"
@@ -764,7 +853,7 @@ function usage () {
     exit 1
 }
 
     exit 1
 }
 
-### parse args and 
+### parse args and
 function main () {
 
     #set -e
 function main () {
 
     #set -e
@@ -791,13 +880,13 @@ function main () {
            *) usage ;;
        esac
     done
            *) usage ;;
        esac
     done
-       
+
     shift $(($OPTIND - 1))
 
     # parse fixed arguments
     [[ -z "$@" ]] && usage
     lxc=$1 ; shift
     shift $(($OPTIND - 1))
 
     # parse fixed arguments
     [[ -z "$@" ]] && usage
     lxc=$1 ; shift
-    lxc_root=/vservers/$lxc
+    lxc_root=$(lxcroot $lxc)
 
     # rainchecks
     almost_empty $lxc_root || \
 
     # rainchecks
     almost_empty $lxc_root || \
@@ -813,32 +902,31 @@ function main () {
         rsync -a $IMAGE/ $lxc_root/
     fi
 
         rsync -a $IMAGE/ $lxc_root/
     fi
 
-
     # check we've exhausted the arguments
     [[ -n "$@" ]] && usage
 
     # check we've exhausted the arguments
     [[ -n "$@" ]] && usage
 
-    # BUILD_MODE is true unless we specified a hostname
-    [ -n "$GUEST_HOSTNAME" ] || BUILD_MODE=true
+    # NAT_MODE is true unless we specified a hostname
+    [ -n "$GUEST_HOSTNAME" ] || NAT_MODE=true
 
     # set default values
     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
     [ -z "$MEMORY" ] && MEMORY=$DEFAULT_MEMORY
 
     # set default values
     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
     [ -z "$MEMORY" ] && MEMORY=$DEFAULT_MEMORY
-    
+
     # set memory in KB
     MEMORY=$(($MEMORY * 1024))
     # set memory in KB
     MEMORY=$(($MEMORY * 1024))
-    
+
     # the set of preinstalled packages - depends on mode
     if [ -z "$PREINSTALLED" ] ; then
     # the set of preinstalled packages - depends on mode
     if [ -z "$PREINSTALLED" ] ; then
-       if [ -n "$BUILD_MODE" ] ; then
+       if [ -n "$NAT_MODE" ] ; then
            PREINSTALLED=devel.pkgs
        else
            PREINSTALLED=runtime.pkgs
        fi
     fi
 
            PREINSTALLED=devel.pkgs
        else
            PREINSTALLED=runtime.pkgs
        fi
     fi
 
-    if [ -n "$BUILD_MODE" ] ; then
+    if [ -n "$NAT_MODE" ] ; then
        # we can now set GUEST_HOSTNAME safely
         [ -z "$GUEST_HOSTNAME" ] && GUEST_HOSTNAME=$(echo $lxc | sed -e 's,\.,-,g')
     else
        # we can now set GUEST_HOSTNAME safely
         [ -z "$GUEST_HOSTNAME" ] && GUEST_HOSTNAME=$(echo $lxc | sed -e 's,\.,-,g')
     else
@@ -848,12 +936,12 @@ function main () {
        if [ "$REPO_URL" == "none" ] ; then
            REPO_URL=""
        elif [ -z "$REPO_URL" ] ; then
        if [ "$REPO_URL" == "none" ] ; then
            REPO_URL=""
        elif [ -z "$REPO_URL" ] ; then
-           echo "WARNING -- setting up a yum repo is recommended" 
+           echo "WARNING -- setting up a yum repo is recommended"
        fi
     fi
 
     ##########
        fi
     fi
 
     ##########
-    release=$(echo $fcdistro | cut -df -f2)
+    fedora_release=$(echo $fcdistro | cut -df -f2)
 
     if [ "$personality" == "linux32" ]; then
         arch=i386
 
     if [ "$personality" == "linux32" ]; then
         arch=i386
@@ -867,7 +955,7 @@ function main () {
 
     # compute networking details for the test mode
     # (build mode relies entirely on dhcp on the private subnet)
 
     # compute networking details for the test mode
     # (build mode relies entirely on dhcp on the private subnet)
-    if [ -z "$BUILD_MODE" ] ; then
+    if [ -z "$NAT_MODE" ] ; then
 
        #create_bridge_if_needed $PUBLIC_BRIDGE
        lbuild-bridge.sh $PUBLIC_BRIDGE
 
        #create_bridge_if_needed $PUBLIC_BRIDGE
        lbuild-bridge.sh $PUBLIC_BRIDGE
@@ -880,13 +968,15 @@ function main () {
         VIF_HOST="vif$(echo $GUEST_HOSTNAME | cut -d. -f1)"
     fi
 
         VIF_HOST="vif$(echo $GUEST_HOSTNAME | cut -d. -f1)"
     fi
 
-    setup_lxc $lxc $fcdistro $pldistro $personality 
+    setup_lxc $lxc $fcdistro $pldistro $personality
 
 
-    devel_or_vtest_tools $lxc $fcdistro $pldistro $personality
+    # historically this command is for setting up a build or a test VM
+    # kind of patchy right now though
+    devel_or_test_tools $lxc $fcdistro $pldistro $personality
 
     # container gets started here
     post_install $lxc $personality
 
     # container gets started here
     post_install $lxc $personality
-    
+
     echo $COMMAND Done
 
     exit 0
     echo $COMMAND Done
 
     exit 0
build